Phương Pháp Kết Hợp dựa trên Mô Hình Học Sâu cho Phân Tích Tình Cảm trên Hình Ảnh
Email tác giả liên hệ:
trangpth@hcmute.edu.vnDOI:
https://doi.org/10.54644/jte.2024.1547Từ khóa:
Image sentiment analysis;, Ensemble model;, VGG19-based CNN;, ResNet50-based CNN;, Convolutional neural network.Tóm tắt
Phân tích tình cảm là quá trình xác định phân cực cảm xúc của con người đối với một thực thể được thể hiện trong các ý kiến của họ. Cùng với sự phát triển của khoa học công nghệ, các ý kiến được đưa lên mạng xã hội trở nên đa dạng hơn về hình thức. Trong đó, các ý kiến thể hiện thông qua các hình ảnh ngày càng chiếm ưu thế. Có nhiều phương pháp phân tích tình cảm trên hình ảnh được công bố trong những năm gần đây. Đáng chú ý phải kể đến các mô hình dựa trên convolutional neural network (CNN). Tuy nhiên, các phương pháp dựa trên mô hình CNN trước đây thường không thể trích xuất tốt các đặc trưng từ hình ảnh có độ phân giải thấp. Để giải quyết vấn đề nêu trên, trong nghiên cứu này, chúng tôi đề xuất phương pháp nâng cao hiệu suất phân tích cảm xúc trên hình ảnh bằng cách kết hợp hai mô hình transfer learning và mô hình CNN. Không giống như các mô hình dựa trên CNN khác, phương pháp của chúng tôi có thể trích xuất tốt hơn các đặc trưng cục bộ và toàn cục trên hình ảnh. Phương pháp đề xuất đã được thử nghiệm trên bộ dữ liệu FER2013 và cho thấy nó có thể cải thiện độ chính xác lên tới 9,03% so với các phương pháp cơ sở.
Tải xuống: 0
Tài liệu tham khảo
G. Meena, K. K. Mohbey and S. Kumar, "Sentiment analysis on images using convolutional neural networks based Inception-V3 transfer learning approach," International journal of information management data insights, p. 100174, 2023. DOI: https://doi.org/10.1016/j.jjimei.2023.100174
E. Pranav, S. Kamal, C. S. Chandran and M. Supriya, "Facial emotion recognition using deep convolutional neural network," in 6th International conference on advanced computing and communication Systems (ICACCS), IEEE, 2020, pp. 317-320. DOI: https://doi.org/10.1109/ICACCS48705.2020.9074302
N. Mehendale, "Facial emotion recognition using convolutional neural networks (FERC)," SN Applied Sciences, vol. 2, no. 3, p. 446, 2020. DOI: https://doi.org/10.1007/s42452-020-2234-1
A. Jaiswal, A. K. Raju and S. Deb, "Facial emotion detection using deep learning," in International conference for emerging technology (INCET), IEEE, 2020, pp. 1-5. DOI: https://doi.org/10.1109/INCET49848.2020.9154121
S. Modi and M. H. Bohara, "Facial emotion recognition using convolution neural network," in 5th international conference on intelligent computing and control systems (ICICCS), IEEE, 2021, pp. 1339-1344. DOI: https://doi.org/10.1109/ICICCS51141.2021.9432156
K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.
A. Agrawal and N. Mittal, "Using CNN for facial expression recognition: a study of the effects of kernel size and number of filters on accuracy," The Visual Computer, vol. 36, no. 2, pp. 405-412, 2020. DOI: https://doi.org/10.1007/s00371-019-01630-9
K. Liu, M. Zhang, and Z. Pan, "Facial expression recognition with CNN ensemble," in International conference on cyberworlds (CW), IEEE, 2016, pp. 163-166. DOI: https://doi.org/10.1109/CW.2016.34
I. J. Goodfellow et al., "Challenges in representation learning: A report on three machine learning contests," in Neural Information Processing: 20th International Conference, ICONIP, Daegu, Korea, Springer, 2013, pp. 117-124.
K. Gadzicki, R. Khamsehashari and C. Zetzsche, "Early vs late fusion in multimodal convolutional neural networks," in IEEE 23rd international conference on information fusion (FUSION), IEEE, 2020, pp. 1-6. DOI: https://doi.org/10.23919/FUSION45008.2020.9190246
E. G. Moung, C. C. Wooi, M. M. Sufian, C. K. On, and J. A. Dargham, "Ensemble-based face expression recognition approach for image sentiment analysis," Int. J. Electr. Comput. Eng, vol. 12, no. 3, pp. 2588-2600, 2022. DOI: https://doi.org/10.11591/ijece.v12i3.pp2588-2600
C. Jia, C. L. Li, and Z. Ying, "Facial expression recognition based on the ensemble learning of CNNs," in IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC), IEEE, 2020, pp. 1-5. DOI: https://doi.org/10.1109/ICSPCC50002.2020.9259543
G. Shengtao, X. Chao, and F. Bo, "Facial expression recognition based on global and local feature fusion with CNNs," in IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC), IEEE, 2019, pp. 1-5. DOI: https://doi.org/10.1109/ICSPCC46631.2019.8960765
V. Jha, P. D. Shenoy, and K. Venugopal, "Development of facial expression classifier using neural networks," in IEEE International WIE Conference on Electrical and Computer Engineering (WIECON-ECE), IEEE, 2019, pp. 1-4. DOI: https://doi.org/10.1109/WIECON-ECE48653.2019.9019937
Tải xuống
Đã Xuất bản
Cách trích dẫn
Giấy phép
Bản quyền (c) 2024 Tạp chí Khoa học Giáo dục Kỹ Thuật
Tác phẩm này được cấp phép theo Giấy phép quốc tế Creative Commons Attribution-NonCommercial 4.0 .
Bản quyền thuộc về JTE.
