见汝之心：通过视觉创作解读心理状态
计算机视觉与模式识别
2023-03-17 v2 人工智能
计算与语言
摘要
在精神分析中，通过视觉创作对个体心理状态生成解读正面临显著需求。计算机视觉领域现有研究的两大主要任务——情感/情绪分类与情感描述生成，难以满足心理解读的要求。为满足精神分析需求，我们引入一项具有挑战性的任务，即视觉情绪解读任务 (VEIT)。VEIT 要求 AI 通过视觉创作对创作者的心理状态生成合理解读。为支持该任务，我们提出一个称为 SpyIn（沙盘游戏解读数据集）的多模态数据集，其以心理学理论为支撑并经过专业标注。数据集分析表明，SpyIn 不仅能支持 VEIT，且相较于其他描述生成数据集更具挑战性。基于 SpyIn，我们对若干图像描述生成方法开展实验，并提出一种视觉-语义联合模型，在 SpyIn 上取得 SOTA 结果。结果表明 VEIT 是一项更具挑战性的任务，需要场景图信息与心理学知识。我们的工作也展示了 AI 通过视觉创作分析与解释人类内心世界的潜力。
引用
@article{arxiv.2302.10276,
title = {See Your Heart: Psychological states Interpretation through Visual Creations},
author = {Likun Yang and Xiaokun Feng and Xiaotang Chen and Shiyu Zhang and Kaiqi Huang},
journal= {arXiv preprint arXiv:2302.10276},
year = {2023}
}