Вступ

1. Постановка задачі

1. 
   здивування;
   
2. 
   щастя;
   
3. 
   сум;
   
4. 
   відраза;
   
5. 
   злість.
   

1. 
   проведення порівняльного аналізу існуючих методів розпізнавання емоційного стану людини (РЕСЛ) за зображенням обличчя;
   

6. 
   вибір та адаптація існуючого методу для вирішення задачі РЕСЛ;
   
7. 
   розробка програмного забезпечення на базі вибраного математичного методу;
   
8. 
   тестування розробленої автоматизованої системи.
   

1. 
   мати високі показники ефективності розпізнавання;
   

9. 
   ураховувати нечіткість природи людських емоцій;
   
10. 
    бути спроможною навчатися на різних вибірках.
    

2. Аналіз існуючих методів розпізнавання емоцій людини

   1. Виділення критеріїв оцінки методів

1. 
   ефективність — середня абсолютна величина похибки результату на множині тестових даних:
   

11. 
    розмірність вектора ознак;
    
12. 
    обсяг тренувальної вибірки, потрібний для навчання;
    
13. 
    адаптація до нечіткого характеру даних — врахування нечіткості як вхідних даних, так і результатів.
    

2. Математичні методи розпізнавання емоцій людини

   1. Штучні нейронні мережі

2. Системи адаптивного нейронечіткого виведення

3. Приховані марківські моделі

4. Порівняння математичних методів розв’язання задачі

3. Огляд існуючих комерційних програмних рішень

   1. FaceReader

2. eMotion

3. MMER_FEASy — the FacE Analysis System

4. Порівняння програмних рішень для розв’язання задачі

4. Висновки до розділу

3. Математичне забезпечення

   1. Архітектура ANFIS та її модифікація

2. Алгоритм навчання ANFIS

3. Формування вектора ознак

4. Формулювання нечітких правил

5. Висновки до розділу

4. Програмне забезпечення

   1. Структура програми

• 
  зчитування параметрів мережі з файлу;
  
• 
  обчислення вихідних сигналів;
  
• 
  здійснення однієї ітерації навчання;
  
• 
  запис параметрів мережі у файл.
  

2. Опис розроблених алгоритмів

3. Формат вихідних даних

   1. Вихідні дані для ініціалізації системи

1. 
   у перших найглибших чотирьох тегах знаходяться передумовні параметри, у наступних найглибших тегах знаходяться наслідкові параметри;
   

14. 
    передумовні параметри згруповано за елементами обличчя, ознаки яких вони описують;
    
15. 
    кожний рядок передумовних параметрів містить параметри вузлової функції нейрона першого шару мережі, , та відповідно;
    
16. 
    наслідкові параметри згруповано за емоцією, яку вони описують:
    

1. 
   здивування;
   
2. 
   щастя;
   
3. 
   сум;
   
4. 
   відраза;
   
5. 
   злість;
   

17. 
    кожний рядок наслідкових параметрів складений із параметрів вузлової функції нейронів четвертого шару;
    
18. 
    усі параметри — дійсні числа, ціла частина відділяється від дробової крапкою.
    

2. Вихідні дані для навчання системи

4. Формат результуючих даних

5. Результати випробування

   1. Навчання ANFIS

2. Випробування системи

6. Висновки до розділу

Висновки

Перелік посилань

1. 
   Экман П. Психология эмоций. Я знаю, что ты чувствуешь / П. Экман. — Питер, 2010. — 336 с.
   
2. 
   Khandait S. P. Automatic Facial Feature Extraction and Expression Recognition based on Neural Network / S. P. Khandait, R. C Thool, P. D. Khandait // International Journal of Advanced Computer Science and Applications. — 2011. — Vol. 2, No. 1. — P. 113–118.
   
3. 
   Khandait S. P. ANFIS and BPNN based Expression Recognition using HFGA for Feature Extraction / S. P. Khandait, R. C. Thool, P. D. Khandait // Bulletin of Electrical Engineering and Informatics. — 2013. — Vol. 2, No. 1. — P. 11–22.
   
4. 
   Gomathi V. Human Facial Expression Recognition Using MANFIS Model / V. Gomathi, K. Ramar, A. S. Jeevakumar // Proceedings of World Academy of Science Engineering and Technology. — 2009. — 38. — P. 338–342.
   
5. 
   I. Cohen. Emotion Recognition from Facial Expressions Using Multilevel HMM / I. Cohen, A. Garg, T. S. Huang // Neural Information Processing Systems. — 2000.
   
6. 
   Єфімов Г. М. Технологія для моделювання та розпізнавання емоційної міміки на обличчі людини / Г. М. Єфімов // Системи обробки інформації. — 2012. — С. 36–39.
   
7. 
   Jang J.-S. R. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence / J.-S. R. Jang, C.-T. Sun, E. Mizutani. — Prentice Hall, 1997. — 614 p.
   
8. 
   Хайкин С. Нейронные сети: полный курс : пер. с англ. / C. Хайкин. — [2-е изд.]. — М. : Издательский дом «Вильямс». — 2006. — 1104 с.
   
9. 
   N. Tsapatsoulis. A Fuzzy System for Emotion Classification Based on the MPEG-4 Facial Definition Parameter Set / N. Tsapatsoulis, K. Karpouzis, G. Stamou, F. Piat, S. Kollias // EURASIP Journal on Applied Signal Processing. — 2002. — P. 1021–1038.
   
10. 
    Noldus Information Technology. Face Reader homepage [Electronic Resource]. — Mode of Access:
    

11. 
    Visual Recognition. eMotion homepage [Electronic Resource]. — Mode of Access: http://www.visual-recognition.nl/eMotion.html
    
12. 
    Face Analysis and Emotion Recognition [Electronic Resource]. — Mode of Access: http://www.amiproject.org/showcase/still-and-moving-image-processing/emotion-recognition
    
13. 
    Affdex homepage [Electronic Resource]. — Mode of Access: http://www.affdex.com/
    
14. 
    Ekman P. Manual of the Facial Action Coding System (FACS) / P. Ekman, W. V. Friesen. — Palo Alto : Consulting Psychologists Press, 1978.
    
15. 
    Ekman P. Facial Action Coding System: Investigator’s Guide / P. Ekman, W. V. Friesen. — Palo Alto : Consulting Psychologists Press, 1978.
    
16. 
    С. Прата. Язык программирования С++. Лекции и упражнения : пер. с англ. / C Прата. — 6-е изд. — М. : Издательский дом «Вильямс». — 2013. — 1248 с.
    

1. 
   Лістинги програм

#include "View/iView.h"

#include "Network/network.h"
//#include
class Presenter: public QObject

{

Q_OBJECT

public:

Presenter();

Presenter(iView* userInterface);

signals:

void result_returned(QVector);

void message_showing(QString str);

void message_sending(QString);

void message_hiding();

private slots:

//from view

void testing(QVector features);

void training(QVector, QVector > >& sample);

private:

QVector _normed(QVector);

QVector _trunk(QVector);

qreal _effectiveness(Emotions::Emotions em);
QVector, QVector > > _training_data;

QVector, QVector > > _checking_data;
qreal _eps;

Network ANFIS;

static long long int iteration;//

};


#endif // PRESENTER_H

Лістинг файлу presenter.cpp — реалізація пред’явника-вчителя

#include "Presenter/presenter.h"

#include "Presenter/simplex.h"

#include
#define PARAM_NUMBER 519

long long int Presenter::iteration = 0;
Presenter::Presenter()

{

}
Presenter::Presenter(iView* i_userInterface)

{

QObject *userInterface = dynamic_cast(i_userInterface);
connect(userInterface, SIGNAL(test_inputed(QVector)),this, SLOT(testing(QVector)));

connect(userInterface, SIGNAL(train_sample_inputed(QVector,QVector > >& )),this, SLOT(training(QVector,QVector > >&)));
connect(this, SIGNAL(result_returned(QVector)), userInterface, SLOT(show_results(QVector)));

connect(this, SIGNAL(message_showing(QString)), userInterface, SLOT(show_message(QString)));

connect(this, SIGNAL(message_hiding()), userInterface, SLOT(hide_message()));

connect(this, SIGNAL(message_sending(QString)), userInterface, SLOT(show_dlg_message(QString)));
ANFIS.Init();

ANFIS.Deserialize("C:\\Users\\Sersajur\\Documents\\Qt-projects\\Emotion_recognizer\\src\\sources\\weights.xml");

}
QVector Presenter::_trunk(QVector result)

{

for(auto& it: result)

if (it<0) it=0;

else if(it>1) it=1;

return result;

}
QVector Presenter::_normed(QVector features)

{

QVector result = features;

qreal& Horizontal = features[13];

qreal& Vertical = features[19];

//eye_brows_size_params:

result[0] /= Vertical;

result[1] /= Horizontal;

result[2] /= Vertical;

result[3] /= Horizontal;

//eyes_size_params:

result[4] /= Vertical;

result[5] /= Horizontal;

result[6] /= Vertical;

result[7] /= Horizontal;

//nose_size_params:

result[8] /= Vertical;

result[9] /= Horizontal;

//lips_size_params:

result[10] /= Vertical;

result[11] /= Horizontal;

//distances:

result[12] /= Horizontal;

result[14] /= Vertical;

result[15] /= Vertical;

result[16] /= Vertical;

result[17] /= Vertical;

result[18] /= Vertical;

//result[19] /= Vertical;

return result;

}
void Presenter::testing(QVector features)

{

QVector result;

result = ANFIS.Check(_normed(features));

emit result_returned(_trunk(result));

}
QString makeLog(int V/*, int N*//*, qreal eps*/, QVector em, QVector n, QVector e)

{

QString log = QString("Об'єм вибірки: %1\n").arg(V);

log += QString("Критерій зупинки: перехресна перевірка \n ");

log += QString("------------------------------------\n");

log += QString("Емоція || Кількість епох || Ефективність \n");
log += QString("%1 %2 %3\n").arg(em[0],-14).arg(n[0],-19).arg(e[0],-9,'f');

log += QString("%1 %2 %3\n").arg(em[1],-14).arg(n[1],-19).arg(e[1],-9,'f');

log += QString("%1 %2 %3\n").arg(em[2],-14).arg(n[2],-19).arg(e[2],-9,'f');

log += QString("%1 %2 %3\n").arg(em[3],-14).arg(n[3],-19).arg(e[3],-9,'f');

log += QString("%1 %2 %3\n").arg(em[4],-14).arg(n[4],-19).arg(e[4],-9,'f');

return log;

}

qreal Presenter::_effectiveness(Emotions::Emotions em)

{

qreal result = 0;

for(auto& it: _checking_data)

{

ANFIS.setInput(it.first);

result += qAbs(it.second[em]-ANFIS.Process(em))/_checking_data.size()/it.second[em];

}

return (1 - result);

}
void Presenter::training(QVector, QVector > > &sample)

{
for (auto& row: sample)

row.first = _normed(row.first);
int k = qRound(sample.size()/qSqrt(PARAM_NUMBER*2));

for(int i=0; i < sample.size() - k; i++)

_training_data.append(sample[i]);

for(int i = _training_data.size(); i < sample.size(); i++)

_checking_data.append(sample[i]);
qreal l_rate_cons = 0.2;

qreal l_rate_prem_a = 0.2;

qreal l_rate_prem_b = 0.2;

qreal l_rate_prem_c = 0.2;
int epoch_counter;

qreal prev_effect;

QVector save_param;

QVector str_status = {"здивування", "щастя", "сум", "відраза", "злість"};

QVector n_epoch;

QVector effectivenesses;
for(int i = 0; i < str_status.size(); i++)

{

epoch_counter = 0;

prev_effect = _effectiveness(Emotions::Emotions(i));

while((prev_effect <= _effectiveness(Emotions::Emotions(i))) || !epoch_counter)

{

save_param = ANFIS.getParams();

prev_effect = _effectiveness(Emotions::Emotions(i));

message_showing("Засвоєння емоції: " + str_status[i] + ", " + QString::number(epoch_counter) + ", ефективність" + QString::number(prev_effect,'f'));

for(auto& it: _training_data)

{

ANFIS.setInput(it.first);

ANFIS.One_lesson(Emotions::Emotions(i), it.second[i], l_rate_cons, l_rate_prem_a, l_rate_prem_b, l_rate_prem_c);

}

epoch_counter++;

}

ANFIS.setParams(save_param);

//prev_effect = _effectiveness(Emotions::Emotions(i));//

n_epoch.append(epoch_counter);

effectivenesses.append(prev_effect);

}

emit message_hiding();

emit message_sending(makeLog(_training_data.size()/*,max_epoch_number*//*,_eps*/,str_status,n_epoch,effectivenesses));

ANFIS.Serialize("C:\\Users\\Sersajur\\Documents\\Qt-projects\\Emotion_recognizer\\src\\sources\\weights.xml", 6);

}

2. 
   Ілюстративний матеріал

Рисунок Б.1 – Слайд 1


Рисунок Б.2 – Слайд 2