HeSS: VGGT 中用于稀疏化重分配的头部敏感度分数

视觉几何引导变换器（VGGT）推动了三维视觉的发展，但其全局注意力层面临二次计算成本，阻碍了可扩展性。已提出多种基于稀疏化的加速技术以缓解此问题，但它们往往遭受显著的精度下降。我们假设精度下降源于头部稀疏化敏感度的异质性，因为现有方法在所有头部上应用统一的稀疏化模式。受此假设驱动，我们提出了一种两阶段稀疏化流水线，能够有效量化并利用头部稀疏化敏感度。在第一阶段，我们使用一种新颖的度量——头部敏感度分数（HeSS）——来衡量头部稀疏化敏感度，该度量通过小规模校准集上关于两个不同误差项的 Hessian 近似来实现。在推理阶段，我们执行 HeSS 引导稀疏化，利用预计算的 HeSS 重新分配总注意力预算——为敏感的头部分配更密集的注意力，为更鲁棒的头部分配更稀疏的注意力。我们证明了 HeSS 能有效捕捉头部稀疏化敏感度，并经验性地确认全局注意力层中的注意力头表现出异质性的敏感度特征。大量实验进一步表明，我们的方法在高稀疏度下有效缓解了性能下降，在不同稀疏化水平下展现出强大的鲁棒性。代码可在 https://github.com/libary753/HeSS 获取。