少即是多：从 EOS 决策视角缓解多模态幻觉

大型多模态模型 (LMMs) 经常会出现多模态幻觉，即它们可能会生成视觉输入中不存在的的内容。在本文中，我们从一个新的角度探讨这个问题：过于详细的训练数据阻碍了模型及时终止生成的能力，导致输出超出视觉感知限制而继续生成。通过研究模型如何利用特殊的句末标记 EOS 决定终止生成，我们发现模型通过将生成的文本与图像进行比较来评估整个序列的完整性。这一观察表明，模型具有基于其视觉感知做出正确 EOS 决策以避免过长输出的固有潜力。为了利用这种潜力，我们探索了两种缓解多模态幻觉的方法：一种训练目标，使模型能够通过从常规指令数据中学习来减少幻觉；以及一种数据过滤策略，以防止有害训练数据加剧模型幻觉。这两种方法均显著改善了 LMMs 的幻觉表现，且不需要任何额外的数据或知识。