批判性思考：通过理由增强指令调谋缓解幻觉
计算机视觉与模式识别
2025-05-13 v1
摘要
尽管在多模态推理任务中取得了显著进展，但现有的大型视觉语言模型 (LVLMs) 容易产生视觉无依据的响应。相反，当人类学习新知识时，往往依赖一组基本预学习原则：审阅大纲以把握核心概念，总结要点以引导关注并增强理解。然而，这些准备性动作在当前的指令调谋过程中明显缺失。本文提出了Re-Critic，一个易于扩展的理由增强框架，用于纳入基本规则和链式思维 (CoT) 作为增强推理能力的桥梁。具体而言，Re-Critic开发了一个视觉理由合成器，以可扩展的方式增强原始指令。为探索更具上下文依托的响应，Re-Critic采用基于情境的自我批判机制选择响应对以进行偏好调谋。实验表明，使用我们增强的理由数据集进行调谋的模型在不仅限于幻觉特定任务的更广泛的多模态推理任务中都获得了提升。
引用
@article{arxiv.2505.07172,
title = {Critique Before Thinking: Mitigating Hallucination through Rationale-Augmented Instruction Tuning},
author = {Zexian Yang and Dian Li and Dayan Wu and Gang Liu and Weiping Wang},
journal= {arXiv preprint arXiv:2505.07172},
year = {2025}
}