Meno Študenta: Šimon Strieška
Názov práce: Rozpoznávanie emócii pomocou hlbokých neurónových sietí
Meno školitela: RNDr. Kristína Malinovská, PhD.
Kontakt na študenta: strieska3@uniba.sk

Anotácia: Hlboké neurónové siete dnes už vidíme na mnohých miestach, dominujú práve v spracovaní obrazu a používajú sa aj na rozlíšenie emócií ludí na obrázkoch ci videu.
Bažným problémom pri trénovaní takýchto neurónových sietí je napríklad nedostatocné zastúpenie všetkých rozlišovaných tried v dátovej sade, ako sa napríklad ukazuje pri AffectNet datasete.

Ciel: Cielom práce je preskúmat existujúce modely a metódy a vylepšit model VGGFace2 alebo nájst obdobný lepšie fungujúci model a zároven analyzovat reprezentácie modelu (feature vectors)
pomocou samoorganizujúcich sa sietí a dalších metód. Výsledkom práce bude neurónová siet ktorú možno dalej použit pre výskum interakcie robota a cloveka, ktorý vykonávame na katedre s robotom NICO.

Denník:
	1. Týžden
	
Štúdium doposial vybraných materiálov 22.2. Stretnutie so školitelkou - Diskusia o cieloch práce a nedostatkoch predošlého modelu(napr. imbalance v datasete), možné riešenia problémov a teórie, plán práce na další týžden
	2. Týžden
	
29.2. Stretnutie so školitelkou - Diskusia o nových materiáloch, plán práce na další týžden, prístup k projektu na ktorom staviame, odporúcania pre použitie nástrojov a knižníc Vytvorenie prostredia a rozbehanie modelu pre rozpoznávanie emócii
	3. Týžden
	
Rozbehanie projektu v google colab, príprava testovacích výpisov, parametrov pocas tréningu, export dát
	4. Týžden
	
15.3. Online stretnutie so školitelkou - plán práce na další týžden, hladanie menšieho modelu pre úcely testovania, experimenty so sietou, refaktor kódu
	6. Týžden
	
27.3.Stretnutie so školitelkou - riešenie problému s originálnou implementáciou miešania datasetu, stratifikovanie
	7. Týžden
	
2.4. Implementácia plnohodnotného miešania datasetu(predtým bolo ciastkové), implementácia stratifikácie
	8. Týžden
	
12.4. Online call so školitelkou - konzultácia výsledkov doterajších experimentov, dohodnutie dalšieho postupu
	10. Týžden
	
23.4. Stretnutie so školitelkou - feedback k text bc


Zdroje a odkazy:
    Li, S. and Deng, W. 2022. "Deep Facial Expression Recognition: A Survey,"
    in IEEE Transactions on Affective Computing, vol. 13, no. 3, pp. 1195-1215.
    IEEE
    
    Mollahosseini, A., Hasani, B. and Mahoor, M.H., 2017. Affectnet:
    A database for facial expression, valence, and arousal computing in the wild.
    IEEE Transactions on Affective Computing, 10(1), pp.18-31.
    
    Cao, Q., Shen, L., Xie, W., Parkhi, O.M. and Zisserman, A., 2018, May.
    Vggface2: A dataset for recognising faces across pose and age. In 2018 13th
    IEEE international conference on automatic face & gesture recognition (FG
    2018) (pp. 67-74). IEEE.
    
    Barros, P., Barakova, E., & Wermter, S. (2018). A deep neural model of emotion appraisal.
    arXiv preprint arXiv:1808.00252.
    
    Herashchenko, D., & Farkaš, I. (2023, December). Appearance-based gaze estimation enhanced with synthetic images using deep neural networks.
    In 2023 IEEE Symposium Series on Computational Intelligence (SSCI) (pp. 129-134). IEEE.
    
    Belanec, R., Lacko, P., & Malinovská, K. (2023, September). Controlling the Output of a Generative Model by Latent Feature Vector Shifting.
    In 2023 World Symposium on Digital Intelligence for Systems and Machines (DISA) (pp. 24-30). IEEE.
    
    Churamani, N., Kerzel, M., Strahl, E., Barros, P., & Wermter, S. (2017, May). Teaching emotion expressions to a human companion robot using deep neural architectures.
    In 2017 international joint conference on neural networks (IJCNN) (pp. 627-634). IEEE.
    
    Cao, Q., Shen, L., Xie, W., Parkhi, O. M., & Zisserman, A. (2018, May). Vggface2: A dataset for recognising faces across pose and age. In 2018 13th IEEE international
    conference on automatic face & gesture recognition (FG 2018) (pp. 67-74). IEEE.
    
    Kvasnicka, V., Benušková, L., Pospíchal, J., Farkaš, I., Tino, P., & Král, A. (1997). Úvod do teórie neurónových sietí. Iris.
    
    Liu, N., Wang, J., & Gong, Y. (2015, July). Deep self-organizing map for visual classification. In 2015 international joint conference on neural networks (IJCNN) (pp. 1-6). IEEE.
    
    Zhuang, F., Qi, Z., Duan, K., Xi, D., Zhu, Y., Zhu, H., ... & He, Q. (2020). A comprehensive survey on transfer learning. Proceedings of the IEEE, 109(1), 43-76.
    
    Aly, S., & Almotairi, S. (2020). Deep convolutional self-organizing map network for robust handwritten digit recognition. IEEE Access, 8, 107035-107045.
    
    Campesato, O. (2020). Artificial intelligence, machine learning, and deep learning. Mercury Learning and Information.
    
    Yao, A., Cai, D., Hu, P., Wang, S., Sha, L., & Chen, Y. (2016, October). HoloNet: towards robust emotion recognition in the wild. In Proceedings of the 18th ACM
    international conference on multimodal interaction (pp. 472-478).
	
    Hu, P., Cai, D., Wang, S., Yao, A., & Chen, Y. (2017, November). Learning supervised scoring ensemble for emotion recognition in the wild. In Proceedings of the
    19th ACM international conference on multimodal interaction (pp. 553-560).
    
    Rifai, S., Bengio, Y., Courville, A., Vincent, P., & Mirza, M. (2012). Disentangling factors of variation for facial expression recognition. In Computer
    Vision–ECCV 2012: 12th European Conference on Computer Vision, Florence, Italy, October 7-13, 2012, Proceedings, Part VI 12 (pp. 808-822). Springer Berlin Heidelberg.
    
    Liu, P., Han, S., Meng, Z., & Tong, Y. (2014). Facial expression recognition via a boosted deep belief network. In Proceedings of the IEEE conference on computer vision
    and pattern recognition (pp. 1805-1812).
    
    Zheng, C., Mendieta, M., & Chen, C. (2023). Poster: A pyramid cross-fusion transformer network for facial expression recognition. In Proceedings of the IEEE/CVF International
    Conference on Computer Vision (pp. 3146-3155).
	
    Mao, J., Xu, R., Yin, X., Chang, Y., Nie, B., & Huang, A. POSTER V2: A simpler and stronger facial expression recognition network. arXiv 2023. arXiv preprint arXiv:2301.12149.
    
    Zhang, S., Zhang, Y., Zhang, Y., Wang, Y., & Song, Z. (2023). A Dual-Direction Attention Mixed Feature Network for Facial Expression Recognition. Electronics, 12(17), 3595.
    
    Panagiotis, A., Filntisis, P. P., & Maragos, P. Exploiting emotional dependencies with graph convolutional networks for facial expression recognition. arXiv 2021. arXiv preprint arXiv:2106.03487.    
    
    Wen, Z., Lin, W., Wang, T., & Xu, G. (2023). Distract your attention: Multi-head cross attention network for facial expression recognition. Biomimetics, 8(2), 199.
    
Prehladová cast:https://drive.google.com/file/d/1ZBad_EPXNOfDoD6d4l0rOiS3T-mWFddL/view?usp=sharing
Images:https://drive.google.com/drive/folders/1Sng-7uf4pgmpWLJmBEDEIZxxw6KmgLEw?usp=sharing
https://github.com/knowledgetechnologyuhh/EmotionRecognitionBarros
https://github.com/Wicwik/DP
https://github.com/1980x/SCAN-CCI-FER/blob/master/main_affectnet.py
https://gitlab.matfyz.sk/
https://docs.python.org/3/library/pickle.html
https://cogsci.fmph.uniba.sk/~rebrova/fop-project/
https://docs.anaconda.com/free/miniconda/index.html
https://www.docker.com/