SOLVER：场景-物体关联视觉情感推理网络
计算机视觉与模式识别
2021-10-26 v1 人工智能
摘要
视觉情感分析（VEA）旨在发现人们针对不同视觉刺激的情感反应，随着社交网络上图像分享的流行，近期引起了极大关注。由于人类情感涉及高度复杂且抽象的认知过程，难以从情感图像的整体或区域特征直接推断视觉情感。心理学已表明，视觉情感由图像内物体间交互以及物体与场景间交互所激发。受此启发，我们提出一种新颖的场景-物体关联视觉情感推理网络（SOLVER）从图像预测情感。为挖掘不同物体间的情感关系，我们首先基于语义概念与视觉特征构建情感图（Emotion Graph）。随后，我们使用图卷积网络（GCN）在情感图上进行推理，得到情感增强的物体特征。我们还设计了一个场景-物体融合模块来整合场景与物体，其利用场景特征以所提出的基于场景的注意力机制引导物体特征的融合过程。在八个公开视觉情感数据集上进行了充分的实验与对比，结果表明所提SOLVER以较大优势持续优于最先进（state-of-the-art）方法。消融研究验证了方法的有效性，可视化证明了其可解释性，也为探索VEA中的奥秘带来新见解。值得注意的是，我们在三个其他潜在数据集上进一步讨论SOLVER并开展扩展实验，验证了方法的鲁棒性并注意到其若干局限。
引用
@article{arxiv.2110.12334,
title = {SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network},
author = {Jingyuan Yang and Xinbo Gao and Leida Li and Xiumei Wang and Jinshan Ding},
journal= {arXiv preprint arXiv:2110.12334},
year = {2021}
}
备注
Accepted by TIP