视觉情感分布学习中探寻主观性

视觉情感分析（Visual Emotion Analysis, VEA）旨在预测人们对不同视觉刺激的情感，近年来已成为一个引人关注的研究课题。与单标签分类任务相比，通过不同个体的投票将 VEA 视为标签分布学习（Label Distribution Learning, LDL）问题更为合理。现有方法常在网络中统一预测视觉情感分布，忽视了其群体投票过程中固有的主观性。在心理学中，客体-评价-情感（Object-Appraisal-Emotion）模型已表明，每个个体的情感受其主观评价影响，而主观评价进一步由情感记忆形成。受此启发，我们提出一种新颖的主观评价与匹配网络（Subjectivity Appraise-and-Match Network, SAMNet）来探究视觉情感分布中的主观性。为刻画群体投票过程中的多样性，我们首先提出具有多分支的主观评价（Subjectivity Appraising），其中每个分支模拟特定个体的情感唤起过程。具体而言，我们基于注意力机制构建情感记忆以保留每个个体独特的情感体验。进一步提出一种主观性损失以保证不同个体间的差异性。此外，我们提出带有匹配损失的主观匹配（Subjectivity Matching），旨在利用匈牙利算法将无序的情感标签以一一对应的方式分配给有序的个体预测。我们在公开的视觉情感分布数据集上进行了大量实验与对比，结果表明所提出的 SAMNet 持续优于当前最优（state-of-the-art）方法。消融研究验证了方法的有效性，可视化证明了其可解释性。