学习何时注意：基于模态重要性指导的可靠多模态情感理解
人工智能
2025-12-03 v1
摘要
本文提出模态重要性引导推理框架（Modality-Importance-Guided Reasoning, MIGR），旨在提高基于推理的多模态情感理解在多模态大语言模型中的可靠性。尽管现有方法已推动情感理解，但常常出现推理漂移：模型逐渐依赖自身生成的文本而非多模态证据，其解释也过于受视觉驱动推理路径的影响。为此，我们引入模态重要性（Modality Importance, MI），通过识别情感主导模态来实现更可靠的推理序列重组，使解释从最关键的情感模态开始，从而防止早期推理受信息不足的线索误导。我们的两阶段框架包括模态对齐的监督微调和模态感知奖励优化，鼓励模型生成情感导向、因果相关且连贯的解释。在DFE W基准测试上的实验结果表明，MIGR显著提升了推理可靠性，将正确预测伴随情感不一致解释的实例比例从18.10%降至7.37%。这些结果确认了从情感主导模态 initiating 推理的优势。
引用
@article{arxiv.2512.02699,
title = {Learning What to Attend First: Modality-Importance-Guided Reasoning for Reliable Multimodal Emotion Understanding},
author = {Hyeongseop Rha and Jeong Hun Yeo and Junil Won and Se Jin Park and Yong Man Ro},
journal= {arXiv preprint arXiv:2512.02699},
year = {2025}
}
备注
16 pages, 8 figures