没有位置的几何? 位置嵌入在空间推理中的作用
计算机视觉与模式识别
2026-02-02 v1
摘要
本文从几何视角重新审视位置嵌入 (PE) 在视觉变换器 (ViT) 中的作用。我们表明，PE 不仅仅是 token 索引，而实际上充当了影响表示空间结构的几何先验。我们引入用于诊断 token 级别的度量，衡量多视图几何一致性在 ViT 表示中取决于一致 PE。通过在 14 个基础 ViT 模型上进行大量实验，我们揭示了 PE 如何影响多视图几何和空间推理。我们的发现阐明了 PE 作为支配 ViT 表示中空间结构的因果机制的作用。我们的代码提供于 https://github.com/shijianjian/vit-geometry-probes
引用
@article{arxiv.2601.22231,
title = {Geometry without Position? When Positional Embeddings Help and Hurt Spatial Reasoning},
author = {Jian Shi and Michael Birsak and Wenqing Cui and Zhenyu Li and Peter Wonka},
journal= {arXiv preprint arXiv:2601.22231},
year = {2026}
}