单一模态如何破坏其他模态：多模态推理的诊断视角

尽管多模态大语言模型（MLLM）正迅速发展，但其推理轨迹仍不透明：难以确定哪种模态驱动了预测，冲突如何被解决，或何时有某一模态占据主导。在本文中，我们提出“模态破坏”这一诊断性失效模式，其中高置信度的单模态错误会覆盖其他证据并误导融合结果。为分析此类动态，我们提出一种轻量级、模型无关的评估层，将每个模态视为一个代理，产生候选标签及简短的自我评估，用于审计。一种简单的融合机制汇总这些输出，暴露支持正确结果的贡献者（模态）和破坏者（误导模态）。将我们的诊断层应用于多模态情感识别基准测试中的案例研究，揭示了系统性可靠性轮廓，提供了关于失败是否源于数据构件或模型局限性的见解。更广泛地说，我们的框架为多模态推理提供了诊断支架，支持对融合动态进行原则性审计，并指导可能的干预。