重访残差连接：用于稳定高效深度网络的正交更新
计算机视觉与模式识别
2026-01-13 v5 人工智能
摘要
残差连接对于深度神经网络至关重要，使其能够通过缓解梯度消失问题来实现更深的网络。然而，在标准残差更新中，模块的输出直接相加。这可能导致更新主要强化或调制现有数据流方向，潜在地未充分利用模块学习全新特征的容量。本文引入了正交残差更新：我们分解模块相对于输入数据流的输出，并仅添加与该数据流正交的分量。这种设计旨在引导模块主要贡献新的表征方向，促进更丰富的特征学习，同时提高训练效率。我们在各种架构（ResNetV2、Vision Transformer）和数据集（CIFAR 系列、TinyImageNet、ImageNet-1k）上 demonstrate，该正交更新策略提升了泛化准确率和训练稳定性，例如在 ImageNet-1k 上的 ViT-B 实现了 +3.78 百分点的 top-1 准确率提升。
引用
@article{arxiv.2505.11881,
title = {Revisiting Residual Connections: Orthogonal Updates for Stable and Efficient Deep Networks},
author = {Giyeong Oh and Woohyun Cho and Siyeol Kim and Suhwan Choi and Youngjae Yu},
journal= {arXiv preprint arXiv:2505.11881},
year = {2026}
}
备注
27 pages, maybe final final version