可靠的图像思考

作为链条推理（Chain-of-Thought, CoT）的多模态延伸，思考图像（Thinking with Images, TWI）最近涌现为增强多模态大语言模型（MLLMs）推理能力的有前景方法，生成交替的 CoT，通过纳入视觉线索来融合文本推理过程。然而，现有 TWI 方法的成功高度依赖于假设交替图像文本 CoT 完全正确，而在实际场景中因多模态理解的复杂性这一假设常被违背。本文揭示并研究了 TWI 中一个高度实用却鲜有探讨的问题，称为噪声思考（Noisy Thinking, NT）。具体而言，NT 指的是从视觉线索中矛盾的矿采和答案推理过程中的不完美。正如人们所说的：“一失足成千古恨”，错误的交替 CoT 将导致误差累积，从而显著降低 MLLMs 的性能。为解决 NT 问题，我们提出了一种新方法，称为可靠图像思考（Reliable Thinking with Images, RTWI）。简而言之，RTWI 以统一的文本中心方式估计视觉线索和文本 CoT 的可靠性，并据此采用鲁棒过滤和投票模块，以防止 NT contamination 影响最终答案。大量实验在七个基准数据集上验证了 RTWI 对抗 NT 的有效性。