Real-time Convolutional Neural Networks untuk Klasifikasi Emosi Wajah yang Terintegrasi dengan Rekomendasi Konten YouTube Berdasarkan Emosi Secara Rule-Based
DOI:
https://doi.org/10.35194/mji.v17i1.5100Keywords:
Emotion Detection, Convolutional Neural Networks, YouTube, Artificial Intelligence, Video RecommendationAbstract
Kemampuan sistem untuk mendeteksi emosi pada citra wajah manusia dan memberikan rekomendasi konten YouTube berdasarkan hasil deteksi tersebut dapat meningkatkan interaksi manusia dengan teknologi. Penelitian ini mengusulkan integrasi baru antara deteksi emosi wajah secara real-time dengan sistem rekomendasi multimedia berbasis emosi, menggunakan kerangka kerja ringan berbasis Convolutional Neural Networks (CNN). Dua arsitektur CNN yang efisien—Sequential Fully-CNN dan Mini-Xception—dibandingkan untuk mengklasifikasikan tujuh emosi pada dataset FER-2013. Kontribusi utama dari penelitian ini adalah penggabungan klasifikasi emosi secara real-time dengan sistem pemetaan berbasis aturan untuk merekomendasikan konten YouTube yang relevan secara emosional, menciptakan pengalaman pengguna yang lebih personal dan adaptif. Hasil pengujian menunjukkan bahwa model CNN yang dikembangkan mampu mendeteksi emosi dengan akurasi tinggi sekaligus menjaga efisiensi komputasi untuk aplikasi waktu nyata. Pendekatan ini diharapkan dapat meningkatkan kualitas interaksi manusia-komputer melalui umpan balik multimedia yang responsif dan relevan secara emosional.
References
[2] S. A. Fatima, A. Kumar ja S. S. Raoof, ”Real Time Emotion Detection of Humans Using Mini-Xception Algorithm,” IOP Conference Series: Materials Science and Engineering, p. 9, 2021.
[3] S. Zhang, Y. Ding, Z. Wei ja C. Guan, ”Continuous Emotion Recognition with Audio-visual Leader-follower Attentive Fusion,” osa/vuosik. 2, p. 8, 2021.
[4] O. Arriaga, M. Valdenegro-Toro ja P. Plöger, ”Real-time Convolutional Neural Networks for Emotion and Gender Classification,” 2017.
[5] R. Goel, S. Susan, S. Vashisht ja A. Dhanda, ”Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation,” International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW), p. 6, 2019.
[6] S. Akter, R. A. Prodhan, T. S. Pias ja D. Eisenberg, ”M1M2: Deep-Learning-Based Real-Time Emotion Recognition from Neural Activity,” Sensors, p. 27, 2022.
[7] S. Minaee, M. Minaee ja A. Abdolrashidi, ”Deep-Emotion: Facial Expression Recognition Using Attentional Convolutional Network,” Computer Vision and Pattern Recognition, osa/vuosik. 1, p. 8, 2019.
[8] Y. Su, Z. Zhang, X. Li, B. Zhang ja H. Ma, ”The multiscale 3D convolutional network for emotion recognition based on electroencephalogram,” Frontiers in Neuroscience, p. 14, 2022.
[9] D. N. Amali, A. R. Barakbah ja A. R. A. Besari, ”Semantic Video Recommendation System Based on Video Viewers Impression from Emotion Detection,” 2018 International Electronics Symposium on Knowledge Creation and Intelligent Computing (IES-KCIC), 2018.
[10] D. P. Kingma ja J. L. Ba, ”Adam: A Method for Stochastic Optimization,” ICLR, osa/vuosik. 9, p. 15, 2015.
[11] F. Chollet, ”Xception: Deep Learning with Depthwise Separable Convolutions,” osa/vuosik. 3, p. 8, 2017.
[12] L. S, ”Facial Expression Recognition based on Mini_Xception,” Highlights in Science, Engineering and Technology, osa/vuosik. 39, p. 10, 2023.
[13] T.-D.-T. Phan, S.-H. Kim, H.-J. Yang ja G.-S. Lee, ”EEG-Based Emotion Recognition by Convolutional Neural Network with Multi-Scale Kernels,” Sensors, p. 13, 2021.
[14] W. Alsabhan, ”Human–Computer Interaction with a Real-Time Speech Emotion Recognition with Ensembling Techniques 1D Convolution Neural Network and Attention,” Sensors, osa/vuosik. 2, p. 21, 2023.
[15] J. T. Springenberg, A. Dosovitskiy, T. Brox ja M. Riedmiller, ”Striving for Simplicity: The All Convolutional Net,” 2014.
