HEU Emotion：面向真实场景多模态情感识别的大规模数据库
计算机视觉与模式识别
2021-04-23 v1 机器学习
摘要
真实场景下的情感计算研究依赖于数据库。现有真实条件下的多模态情感数据库数量少、规模小，受试者数量有限且仅以单一语言表达。为满足这一需求，我们收集、标注并准备发布一个新的自然状态视频数据库（称为 HEU Emotion）。HEU Emotion 共包含 19,004 个视频片段，根据数据来源分为两部分。第一部分包含从 Tumblr、Google 和 Giphy 下载的视频，涵盖 10 种情感和两种模态（面部表情和身体姿态）。第二部分包含从电影、电视剧和综艺节目中人工截取的语料，涵盖 10 种情感和三种模态（面部表情、身体姿态和情感语音）。HEU Emotion 是目前最广泛的多模态情感数据库，拥有 9,951 名受试者。为提供情感识别的基准，我们使用多种传统机器学习和深度学习方法对 HEU Emotion 进行了评估。我们提出了一个多模态注意力模块来自适应地融合多模态特征。经过多模态融合后，两部分数据的识别准确率分别比单模态面部表情识别提高了 2.19% 和 4.01%。
引用
@article{arxiv.2007.12519,
title = {HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition in the Wild},
author = {Jing Chen and Chenhui Wang and Kejun Wang and Chaoqun Yin and Cong Zhao and Tao Xu and Xinyi Zhang and Ziqiang Huang and Meichen Liu and Tao Yang},
journal= {arXiv preprint arXiv:2007.12519},
year = {2021}
}
备注
Neural Comput & Applic (2021)