Socratis：大型多模态模型是否具有情感意识？
人工智能
2023-11-03 v3 计算机视觉与模式识别
摘要
现有的情感预测基准包含粗粒度的情感标签，未考虑图像和文本因各种原因为人类引发多样化情感的情况。随着智能机器在生成和传递社会内容中扮演核心角色，学习对多模态内容的多样化反应十分重要。为弥补这一差距，我们提出了 Socratis，一个社会反应基准，其中每个图像- caption (IC) 对都标注了多种情感及产生这些情感的原因。Socratis 包含来自 5 个广泛阅读的新闻和图像- caption (IC) 数据集的 2075 个图像- caption 对上针对 980 种情感的 18K 条自由形式反应。我们基准测试了最先进的多模态大型语言模型在给定 IC 对时生成感受某情感之原因的能力。基于初步人类研究，我们观察到人类偏好人类书写原因的频率超过机器生成原因的两倍以上。这表明我们的任务比标准生成任务更难，因为它与近期发现（例如人类无法区分机器与人工撰写的新闻文章）形成鲜明对比。我们进一步发现，当前基于大型视觉-语言模型的 captioning 指标也无法与人类偏好相关联。我们希望这些发现和我们的基准能启发进一步关于训练具有情感意识的模型的研究。
引用
@article{arxiv.2308.16741,
title = {Socratis: Are large multimodal models emotionally aware?},
author = {Katherine Deng and Arijit Ray and Reuben Tan and Saadia Gabriel and Bryan A. Plummer and Kate Saenko},
journal= {arXiv preprint arXiv:2308.16741},
year = {2023}
}
备注
ICCV 2023 WECIA