从动力学视角分析VGGT注意力崩塌机制
计算机视觉与模式识别
2025-12-29 v1
摘要
视几何驶导转换器（VGGT）提供了领先的前馈式3D重建能力，但其全局自注意力层在输入序列超过数百帧后会出现严重的注意力崩塌现象：注意力矩阵迅速接近恒等矩阵，token几何退化为接近一维子空间，重建误差呈超线性累积。在本报告中，我们将注意力迭代视为退化扩散过程，建立了严格的数学解释。我们证明，在VGGT中，token特征流以O(1/L)的速率收敛至Dirac型测度，其中L为层索引，得到一个精确预测经验观察到的秩轮廓的闭式均值场偏微分方程。该理论定量匹配注意力热图演化以及相关工作中报告的一系列实验结果，并解释了为何其token合并补救措施——即定期移除冗余token——通过降低有效扩散系数从而在无额外训练的情况下延缓崩溃。我们认为该分析为解释未来可扩展的3D视觉转换器提供了原则性视角，并强调其在多模态泛化方面的潜力。
引用
@article{arxiv.2512.21691,
title = {Analyzing the Mechanism of Attention Collapse in VGGT from a Dynamics Perspective},
author = {Huan Li and Longjun Luo and Yuling Shi and Xiaodong Gu},
journal= {arXiv preprint arXiv:2512.21691},
year = {2025}
}
备注
8 pages, 4 figures