空间中的注意力：VLM 头部的功能角色用于空间推理

尽管在大型视觉语言模型(VLM)方面取得了显著进展，但空间推理仍然是一个持久的挑战。在本工作中，我们调查注意力 heads within VLMs 如何 contribute to spatial reasoning，通过一种机制可解释性视角分析其功能角色。我们引入了 CogVSR，一个分解复杂空间推理问题为逐步子问题的数据集，旨在通过链式思维范式模拟人类式推理，每个子问题链接到特定的认知功能，如空间感知或关系推理。基于 CogVSR，我们开发了一个探针框架来识别和特征化专为这些功能设计的注意力 heads。我们在 diverse VLM families 上的分析揭示，这些功能 heads 是 universally sparse, varies in number and distribution across functions。值得注意的是，空间专门化的 heads 比其他认知功能的少，突显了其稀缺性。我们提出了激活 潜在 空间 heads 的方法，改进了空间理解。干预实验进一步证明了这些 heads 在空间推理中的关键作用：移除功能 heads 会导致性能下降，而强化它们则提高准确率。这项研究为如何在 VLMs 中注意力空间提供了新的解释性驱动的见解，为增强多模态模型中的复杂空间推理铺平了道路。