FAF：一种融合面部、身体和文本的新型多模态情感识别方法
计算机视觉与模式识别
2022-11-29 v1 人工智能
摘要
多模态情感分析依赖于更全面的情感线索和多模态情感数据集，在情感识别中表现更佳。在本文中，我们开发了一个名为“HED”数据集的大型多模态情感数据集，以促进情感识别任务，并据此提出了一种多模态情感识别方法。为了提高识别准确率，我们使用了“Feature After Feature”框架，从对齐的面部、身体和文本样本中探索关键的情感信息。我们采用各种基准来评估“HED”数据集，并比较了使用我们方法的性能。结果表明，所提出的多模态融合方法的五分类准确率约为83.75%，与单一模态相比，性能分别提升了1.83%、9.38%和21.62%。各通道之间的互补性被有效利用，以提高情感识别的性能。我们还建立了一个多模态在线情感预测平台，旨在为更多用户提供免费的情感预测。
引用
@article{arxiv.2211.15425,
title = {FAF: A novel multimodal emotion recognition approach integrating face, body and text},
author = {Zhongyu Fang and Aoyun He and Qihui Yu and Baopeng Gao and Weiping Ding and Tong Zhang and Lei Ma},
journal= {arXiv preprint arXiv:2211.15425},
year = {2022}
}