使用多模态框架分析群体情感
计算机视觉与模式识别
2016-10-17 v2
摘要
网络上的数百万张图像使我们能够探索诸如家庭聚会等社交活动中的图像，因此，理解和建模图像中群体所表现出的情感具有重要意义。然而，由于多变的室内外环境以及不同人数之间发生的交互，对多人表达的情感进行分析具有挑战性。现有的少数关于群体级情感识别（GER）的工作主要在人脸级信息上进行研究。由于环境的挑战性，人脸可能无法为 GER 提供足够的信息。相对较少的研究探讨了多模态 GER。因此，我们提出了一种基于新特征描述的新型多模态方法，用于理解图像中一群人的情绪状态。在本文中，我们首先利用群体级图像中包含人脸、上半身和场景的三种丰富信息。此外，为了整合群体级图像中多个人的信息，我们提出了一种信息聚合方法，分别生成人脸、上半身和场景的三个特征。我们融合人脸、上半身和场景信息，以增强 GER 在挑战性环境下的鲁棒性。在两个具有挑战性的群体级情感数据库上进行了大量实验，以研究人脸、上半身和场景的作用以及多模态框架。实验结果表明，我们的框架在 GER 上取得了极具前景的性能。
引用
@article{arxiv.1610.03640,
title = {Analyzing the Affect of a Group of People Using Multi-modal Framework},
author = {Xiaohua Huang and Abhinav Dhall and Xin Liu and Guoying Zhao and Jingang Shi and Roland Goecke and Matti Pietikainen},
journal= {arXiv preprint arXiv:1610.03640},
year = {2016}
}
备注
11 pages. Submitted to the IEEE Transactions on Cybernetics