中文

迈向跨文化情感识别:跨六种文化的真实场景音视频情感识别

计算机视觉与模式识别 2022-11-01 v3 人机交互 机器学习

摘要

在我们多元文化的世界中,支持人类且具有情感感知能力的人工智能系统需要能够跨越不同文化间情感表达模式的差异来感知情感。这些系统必须在不具备带标注情感数据集用于训练模型的文化语境中表现良好。情感计算中的一个标准假设是,在同一文化内训练并使用的情感识别模型(文化内)会比在一个文化上训练并用于不同文化的模型(跨文化)表现更好。我们检验了这一假设,并提出了首个使用来自六种文化的真实世界双人交互视频进行的跨文化情感识别模型的系统性研究。我们开发了一种基于时序因果发现的特征选择方法,以识别可用于跨文化情感识别模型的行为线索。在所有六种文化中,我们的发现表明跨文化情感识别模型与文化内模型同样有效或更为有效。我们识别并贡献了用于跨文化情感识别的有用行为特征;在本研究语境下,来自视觉模态的面部特征比音频模态更有用。我们的论文展示了概念验证,并为未来跨文化情感识别系统的开发提供了动机,尤其是那些部署在无标注数据的低资源情境中的系统。

关键词

引用

@article{arxiv.2208.00344,
  title  = {Towards Intercultural Affect Recognition: Audio-Visual Affect Recognition in the Wild Across Six Cultures},
  author = {Leena Mathur and Ralph Adolphs and Maja J Matarić},
  journal= {arXiv preprint arXiv:2208.00344},
  year   = {2022}
}

备注

Accepted at IEEE International Conference on Automatic Face and Gesture Recognition (FG 2023), publication and presentation at refereed IEEE workshop