MMToM-QA：多模态心智理论问答

心智理论（Theory of Mind, ToM），即理解他人心理状态的能力，是开发具有人类水平社交智能的机器所必需的关键要素。最近的机器学习模型，特别是大型语言模型，似乎展现出某些ToM理解的方面。然而，现有的ToM基准测试使用单模态数据集——要么是视频，要么是文本。而人类的ToM远不止于视频或文本理解。人们能够基于从任何可用数据中提取的概念表征（例如目标、信念、计划）灵活地推理他人的心理。为解决这一问题，我们引入了一个多模态心智理论问答（MMToM-QA）基准。MMToM-QA在家庭环境中关于人物活动的多模态数据以及不同类型的单模态数据上全面评估机器的ToM能力。为构建多模态ToM能力，我们提出了一种新颖的方法BIP-ALM（语言模型加速的贝叶斯逆向规划）。BIP-ALM从多模态数据中提取统一表征，并利用语言模型进行可扩展的贝叶斯逆向规划。我们对人类表现、BIP-ALM以及包括GPT-4在内的最先进模型进行了系统比较。实验表明，大型语言模型和大型多模态模型仍然缺乏稳健的ToM能力。而BIP-ALM通过利用基于模型的心理推理和语言模型的双重优势，展现出有前景的结果。