Affect2MM：利用情绪因果性进行多媒体内容的情感分析
计算机视觉与模式识别
2021-03-12 v1 人工智能
多媒体
摘要
我们提出Affect2MM，一种用于多媒体内容时间序列情绪预测的学习方法。我们的目标是自动捕捉真实以人为中心情境与行为中角色所描绘的变化情绪。我们利用情绪因果理论的思想，以计算方式建模并确定电影片段中唤起的情感状态。Affect2MM显式地使用基于注意力的方法与Granger因果性对时间因果性建模。我们使用多种组件，如相关演员的面部特征、场景理解、视觉美学、动作/情境描述以及电影剧本，以获得富含情感特征的表示来理解和感知场景。我们使用基于LSTM的学习模型进行情绪感知。为评估我们的方法，我们在SENDv1、MovieGraphs和LIRIS-ACCEDE三个数据集上分析并比较性能，观察到相对于SOTA方法在所有三个数据集上平均提升10-15%。
引用
@article{arxiv.2103.06541,
title = {Affect2MM: Affective Analysis of Multimedia Content Using Emotion Causality},
author = {Trisha Mittal and Puneet Mathur and Aniket Bera and Dinesh Manocha},
journal= {arXiv preprint arXiv:2103.06541},
year = {2021}
}
备注
Accepted to CVPR 2021