动画GIF中以人为中心的情感识别
计算机视觉与模式识别
2019-04-30 v1
摘要
作为一种直观的情感表达方式，动画图形交换格式（GIF）图像已在社交媒体上被广泛使用。以往大多数关于自动化GIF情感识别的研究未能有效利用GIF的独特属性，这潜在限制了识别性能。在本研究中，我们论证了GIF中与人相关信息的重要性，并利用所提出的关键点注意力视觉注意力网络（KAVAN）进行以人为中心的GIF情感识别。该框架由面部注意力模块和分层片段时间模块组成。面部注意力模块利用GIF内容与人物的强关联，提取聚焦于人脸的帧级视觉特征。随后提出分层片段LSTM（HS-LSTM）模块以更好地学习全局GIF表示。我们提出的框架在MIT GIFGIF数据集上优于最先进方法。此外，面部注意力模块提供了可靠的人脸区域掩码预测，提升了模型的可解释性。
引用
@article{arxiv.1904.12201,
title = {Human-Centered Emotion Recognition in Animated GIFs},
author = {Zhengyuan Yang and Yixuan Zhang and Jiebo Luo},
journal= {arXiv preprint arXiv:1904.12201},
year = {2019}
}
备注
Accepted to IEEE International Conference on Multimedia and Expo (ICME) 2019