就你看到的东西进行编码：通过 caption反馈、多样性感知采样和冲突正则化实现幻觉抗性的 MLLM
计算机视觉与模式识别
2026-01-14 v2
摘要
虽然多模态大语言模型（MLLM）在各类任务上取得了显著成功，但其实际部署严重受到幻觉问题的制约，这在强化学习优化中尤为突出。本文系统性地分析了 MLLM 在 RL 训练中幻觉的根本原因，识别出三个关键因素：(1) 对链式视觉推理的过度依赖， inaccurate initial descriptions 或冗余信息会将后续推理锚定在错误的前提上；(2) 在策略优化期间探索多样性不足，导致模型生成过于自信但错误的输出；(3) 训练样本之间的破坏性冲突，神经切向核（NTK）相似性导致错误关联并引起不稳定的参数更新。为解决这些挑战，我们提出了三个核心模块的综合框架。首先，通过引入专门的规划和标注阶段来增强视觉局部分析，在推理阶段前使用基于质量的标注奖励确保准确的初始锚定。其次，为提高探索效果，我们根据奖励分布的均值和方差对样本进行分类，优先处理高方差样本，以聚焦于多样且有信息的数据。最后，为缓解样本干扰，我们通过对样本对进行分组，并应用 InfoNCE 损失将过于相似的样本对拉远，将不相似的样本对推近，从而引导梯度相互作用达到平衡范围。实验结果表明，我们提出的方法显著降低了幻觉率，有效提升了 MLLM 的推理准确性。
引用
@article{arxiv.2601.06224,
title = {Ground What You See: Hallucination-Resistant MLLMs via Caption Feedback, Diversity-Aware Sampling, and Conflict Regularization},
author = {Miao Pan and Wangjie Gan and Jintao Chen and Wenqi Zhang and Bing Sun and Jianwei Yin and Xuhong Zhang},
journal= {arXiv preprint arXiv:2601.06224},
year = {2026}
}
备注
AAAI-2026 Poster