始终跳过注意力：自注意力机制对跳跃连接的根本性依赖
机器学习
2025-08-20 v3 计算机视觉与模式识别
摘要
我们揭示了现代视觉Transformer（ViT）中一个奇特的经验性结果。具体而言，自注意力机制在训练中会灾难性地失败，除非它与跳跃连接结合使用。这与ViT的其他组件形成对比，后者在移除跳跃连接后仍能表现出良好的性能（尽管是次优的）。此外，我们表明这种对跳跃连接的关键依赖是一个相对较新的现象，以往的深度架构（例如，CNN）在没有跳跃连接的情况下也能表现出良好性能。在本文中，我们从理论上刻画了自注意力机制本质上是病态的，因此对跳跃连接的正则化作用具有独特的依赖性。此外，我们提出了Token灰度化——一种简单而有效的（对跳跃连接的）补充方法，可进一步改善输入令牌的条件数。我们在监督和自监督训练方法中验证了我们的方法。
引用
@article{arxiv.2505.01996,
title = {Always Skip Attention},
author = {Yiping Ji and Hemanth Saratchandran and Peyman Moghadam and Simon Lucey},
journal= {arXiv preprint arXiv:2505.01996},
year = {2025}
}
备注
This work has just been accepted by ICCV 2025