个性化感知的以人为中心多模态推理：一项新任务、数据集与基线方法
计算与语言
2024-03-05 v2
摘要
人格特质、情绪与信念塑造个体的行为选择与决策过程。然而，一方面，情感计算领域通常聚焦于预测人格特质，却忽视了其在行为预测中的应用；另一方面，多模态推理任务强调对未来状态与行为的预测，却常忽略个体人格特质的引入。在本工作中，我们提出一项称为个性化感知的以人为中心多模态推理（PHMR）（T1）的新任务，旨在利用过往实例的多模态信息并融合人格因素，预测特定个体的未来行为。我们据此基于六部电视剧构建了一个新数据集，涵盖225个角色与12k个样本。为建立该任务的基准，我们提出七种基线方法：三种改编自相关任务，两种预训练模型，以及两种多模态大语言模型（multimodal large language models）。实验结果表明，引入人格特质可提升以人为中心的多模态推理性能。为进一步解决真实场景中人格标注缺失的问题，我们引入一项称为人格预测型以人为中心多模态推理任务（T2）的扩展任务，并给出相应数据集与方法。我们将在GitHub上公开数据集与代码。
引用
@article{arxiv.2304.02313,
title = {Personality-aware Human-centric Multimodal Reasoning: A New Task, Dataset and Baselines},
author = {Yaochen Zhu and Xiangqing Shen and Rui Xia},
journal= {arXiv preprint arXiv:2304.02313},
year = {2024}
}