野外环境下基于计算机视觉的情绪反应强度估计
计算机视觉与模式识别
2023-08-04 v2 机器学习
摘要
情绪在人类交流中起着至关重要的作用。开发用于自动识别情绪表达的计算机视觉模型可辅助多个领域，包括机器人学、数字行为医疗和媒体分析。在情感计算研究中，传统上建模的情绪表征有三种：动作单元（Action Units）、效价唤醒（Valence Arousal, VA）和分类情绪。作为超越这些表征、迈向更细粒度标签的努力的一部分，我们描述了为第五届野外情感行为分析（ABAW）竞赛中新引入的情绪反应强度（ERI）估计挑战赛所提交的方案。我们开发了四个在视觉域训练的深层神经网络，以及一个使用视觉和音频特征训练的多模态模型，以预测情绪反应强度。我们在 Hume-Reaction 数据集上性能最佳的模型使用预训练的 ResNet50 模型，在测试集上取得了 0.4080 的平均皮尔逊相关系数。本工作为开发可预测情绪反应强度而非离散情绪类别的工业级模型提供了第一步。
引用
@article{arxiv.2303.10741,
title = {Computer Vision Estimation of Emotion Reaction Intensity in the Wild},
author = {Yang Qian and Ali Kargarandehkordi and Onur Cezmi Mutlu and Saimourya Surabhi and Mohammadmahdi Honarmand and Dennis Paul Wall and Peter Washington},
journal= {arXiv preprint arXiv:2303.10741},
year = {2023}
}