Affection：为真实世界视觉数据学习情感化解释

在本工作中，我们探索真实世界图像往往诱发的情绪反应，使用自然语言作为媒介来表达对给定视觉刺激产生情感反应背后的理由。为开启这一探索，我们向研究界引入并分享了一个大规模数据集，包含针对 85,007 张公开可用图像的情感反应与自由形式文本解释，由 6,283 名标注者分析，他们被要求指出并解释在观察特定图像时以某种方式感受如何及为何如此，共产生 526,749 条响应。尽管情感反应是主观的且对上下文敏感（个人情绪、社会地位、过往经历）——我们表明存在显著的共识基础，可捕捉在主体人群中有大量支持的潜在合理情感响应。鉴于这一关键观察，我们提出以下问题：i) 我们能否开发多模态神经网络，对真实世界视觉数据提供合理的情感响应，并用语言加以解释？ii) 我们能否引导此类方法产生具有不同语用语言程度或论证不同情感反应、同时适配底层视觉刺激的解释？最后，iii) 我们如何评估此类方法在这一新任务上的性能？通过本工作，我们迈出了解决所有这些问题的第一步，从而为更丰富、更以人为中心和具备情感感知的图像分析系统铺平道路。我们引入的数据集和所有开发的方法可在 https://affective-explanations.org 获取。