EmotiCon：使用弗雷格原则的上下文感知多模态情感识别
计算机视觉与模式识别
2020-03-17 v1 人机交互
图像与视频处理
摘要
我们提出了EmotiCon，一种基于学习的算法，用于从视频和图像中进行上下文感知的人类情感识别。受心理学中弗雷格上下文原则的启发，我们的方法结合了三种上下文解释来进行情感识别。第一种解释基于使用多种模态（例如面部和步态）进行情感识别。第二种解释中，我们从输入图像中收集语义上下文，并使用基于自注意力的CNN来编码这些信息。最后，我们使用深度图来建模与社交动态交互和智能体之间接近度相关的第三种解释。我们通过在基准数据集EMOTIC上的实验证明了我们网络的效率。我们在26个类别上报告了35.48的平均精度（AP）分数，比之前的方法提高了7-8。我们还引入了一个新数据集GroupWalk，这是一个在多个真实世界场景中拍摄的行人视频集合。我们在GroupWalk的4个类别上报告了65.83的AP，也比之前的方法有所改进。
引用
@article{arxiv.2003.06692,
title = {EmotiCon: Context-Aware Multimodal Emotion Recognition using Frege's Principle},
author = {Trisha Mittal and Pooja Guhan and Uttaran Bhattacharya and Rohan Chandra and Aniket Bera and Dinesh Manocha},
journal= {arXiv preprint arXiv:2003.06692},
year = {2020}
}