范数保持：残差网络为何能变得极深？
计算机视觉与模式识别
2020-04-24 v5
摘要
在所谓的 ResNet 架构中引入跳跃连接来增强神经网络，以其能够训练超过 1000 层且性能显著提升而使学界惊讶。本文通过分析跳跃连接的作用来解读 ResNet，并提出了关于神经网络中恒等跳跃连接优势的新理论结果。我们证明残差块中的跳跃连接有助于保持梯度的范数，并带来稳定的反向传播，这从优化角度看是理想的。我们还表明，或许令人惊讶的是，随着堆叠更多残差块，网络的范数保持能力得到增强。我们的理论论证得到了广泛的经验证据支持。我们能否进一步推动额外的范数保持？我们通过提出一种正则化卷积算子奇异值并使 ResNet 的过渡层额外范数保持的高效方法来回答这个问题。我们的数值研究表明，通过使 ResNet 更具范数保持性，可改善其学习动态和分类性能。我们的结果以及所引入的针对 ResNet 的修改（称为 Procrustes ResNets）可用作训练更深网络的指南，也可启发新的更深架构。
引用
@article{arxiv.1805.07477,
title = {Norm-Preservation: Why Residual Networks Can Become Extremely Deep?},
author = {Alireza Zaeemzadeh and Nazanin Rahnavard and Mubarak Shah},
journal= {arXiv preprint arXiv:1805.07477},
year = {2020}
}