剪掉跳跃：无残差Transformer的训练方法
机器学习
2025-10-02 v1
摘要
Transformer凭借其可扩展性在广泛应用中取得了显著成功，但要么因跳跃连接(残差)而难以训练。虽然跳跃连接有助于优化稳定性，但也会破坏表示层次结构，这引发了长期的问题：Transformer是否可以在不使用跳跃连接的情况下高效训练。在本工作中，我们分析了无跳跃Transformer模块的雅可比矩阵，阐明了跳跃连接如何改善条件数，并揭示其稳定性提升作用可通过原则化初始化策略予以恢复。在此基础上，我们提出首种能够在不改变标准架构的情况下实现无跳跃Transformer稳定高效训练的方法。我们在Vision Transformer(ViT)的监督学习与自监督学习场景中验证了该方法，表明采用我们初始化策略训练的无跳跃ViT能够克服常规优化障碍，学习更丰富的层次表示，并在密集预测基准测试中超越包含跳跃连接的强大基线。这些结果表明跳跃连接并非ViT训练的根本要求，为视觉模型中的层次表示学习开辟了新方向。
关键词
引用
@article{arxiv.2510.00345,
title = {Cutting the Skip: Training Residual-Free Transformers},
author = {Yiping Ji and James Martens and Jianqiao Zheng and Ziqin Zhou and Peyman Moghadam and Xinyu Zhang and Hemanth Saratchandran and Simon Lucey},
journal= {arXiv preprint arXiv:2510.00345},
year = {2025}
}