REAL：通过推理枢轴对齐解决知识密集型视觉问答中的知识冲突
人工智能
2026-02-17 v1
摘要
知识密集型视觉问答 (KI-VQA) 常因开域检索内在局限性导致严重知识冲突。然而现有方法因缺乏可泛化的冲突检测机制和模型内部约束机制而面临关键局限。为此，我们提出 REAL (Reasoning-Pivot Alignment) 框架，核心概念为 Reasoning-Pivot。与优先内部自推导的推理步骤不同，推理枢轴是推理链中以原子单元（节点或边）形式呈现的，强调知识关联，通常依赖外部证据完成推理。基于构建的 REAL-VQA 数据集，我们的框架整合了基于推理枢轴的 SFT (RPA-SFT)，以对齐冲突与枢轴提取训练通用性判别器，并采用推理枢轴引导解码 (RPGD)，作为一种基于这些枢轴的模型内解码策略，用于针对性冲突缓解。广泛实验表明，REAL 在判别精度上显著提升，实现了最先进的性能，验证了枢轴驱动的解决范式的有效性。
引用
@article{arxiv.2602.14065,
title = {REAL: Resolving Knowledge Conflicts in Knowledge-Intensive Visual Question Answering via Reasoning-Pivot Alignment},
author = {Kai Ye and Xianwei Mao and Sheng Zhou and Zirui Shao and Ye Mo and Liangliang Liu and Haikuan Huang and Bin Li and Jiajun Bu},
journal= {arXiv preprint arXiv:2602.14065},
year = {2026}
}