揭示认知指南针：理论心智引导的多模态情感推理
计算机视觉与模式识别
2026-03-03 v2
摘要
尽管多模态大语言模型 (MLLM) 在快速进步，但其深度情感理解能力仍受限。我们认为，真正的情感智能需要对理论心智 (ToM) 进行显式建模，这是情感产生的认知基石。为此，我们引入 HitEmotion，这是一个以 ToM 为基础的分层基准，诊断不同认知深度水平上的能力断点。其次，我们提出一种 ToM 引导的推理链，跟踪心理状态并校准跨模态证据，以实现真实的情感推理。我们进一步引入 TMPO，这是一种强化学习方法，将中间心理状态作为过程级监督以指导和强化模型推理。广泛实验表明，HitEmotion 揭示了最先进模型在认知密集型任务上的深层情感推理缺陷。在评估中，ToM 引导的推理链和 TMPO 提升了终端任务准确率，并产生更忠实、更连贯的理由。总之，本工作为研究社区提供了一个实用的工具箱，用于评估和提升 MLLM 的基于认知的情感理解能力。我们的数据集和代码已在 https://HitEmotion.github.io/ 上提供。
关键词
引用
@article{arxiv.2602.00971,
title = {Unveiling the Cognitive Compass: Theory-of-Mind-Guided Multimodal Emotion Reasoning},
author = {Meng Luo and Bobo Li and Shanqing Xu and Shize Zhang and Qiuchan Chen and Menglu Han and Wenhao Chen and Yanxiang Huang and Hao Fei and Mong-Li Lee and Wynne Hsu},
journal= {arXiv preprint arXiv:2602.00971},
year = {2026}
}
备注
Accepted by ICLR 2026