从窄视野到全景视野：注意力引导的冷启动重塑多模态推理
计算机视觉与模式识别
2026-03-05 v1 人工智能
摘要
冷启动初始化阶段在训练多模态大推理模型（MLRM）时发挥着关键作用，但其机制仍不够被充分理解。为分析这一阶段，我们引入了视觉注意力得分（VAS），这是一种基于注意力的度量，用于量化模型对视觉标记的注意程度。我们发现，推理性能与 VAS 强相关（r=0.9616）：注意力得分更高的模型在多模态推理方面显著优于基线模型。意外的是，多模态冷启动未能提升 VAS，导致注意力分布接近基线模型，而文本唯一冷启动则导致注意力分布明显增加。我们称之为“懒惰注意力定位”。为验证其因果作用，我们设计了无需重新训练的推理期间注意力分配干预方法，性能提升达 1%-2%。基于这些洞见，我们进一步提出了注意力引导的视觉锚定与反思（AVAR）框架，集成视觉锚定数据合成、注意力引导目标和视觉锚定奖励塑形。应用于 Qwen2.5-VL-7B，AVAR 在 7 个多模态推理基准测试中平均提升 7.0%。消融研究进一步确认 AVAR 的每个组件对整体提升都有逐步贡献。代码、数据和模型均可在 https://github.com/lrlbbzl/Qwen-AVAR 获取。
引用
@article{arxiv.2603.03825,
title = {From Narrow to Panoramic Vision: Attention-Guided Cold-Start Reshapes Multimodal Reasoning},
author = {Ruilin Luo and Chufan Shi and Yizhen Zhang and Cheng Yang and Songtao Jiang and Tongkun Guan and Ruizhe Chen and Ruihang Chu and Peng Wang and Mingkun Yang and Yujiu Yang and Junyang Lin and Zhibo Yang},
journal= {arXiv preprint arXiv:2603.03825},
year = {2026}
}
备注
ICLR 2026 Poster