残差网络中的恒等连接提升噪声稳定性
机器学习
2019-05-28 v1 计算机视觉与模式识别
机器学习
摘要
残差神经网络（ResNets）在许多计算机视觉问题中达到了最先进的性能。与无残差连接的普通网络（PlnNets）相比，ResNets 训练更快、泛化更好，并且较少受所谓退化问题的困扰。我们引入了 ResNets 和 PlnNets 的简化（但仍是非线性）版本，对于这些版本，上述差异仍然存在，尽管程度较轻。我们在简化 ResNets 与简化 PlnNets 之间建立了一一映射，并表明在相同计算复杂度下它们在表达能力上完全等价。我们推测 ResNets 泛化更好是因为它们具有更好的噪声稳定性，并通过简化网络和完整网络的经验结果予以支持。
引用
@article{arxiv.1905.10944,
title = {Identity Connections in Residual Nets Improve Noise Stability},
author = {Shuzhi Yu and Carlo Tomasi},
journal= {arXiv preprint arXiv:1905.10944},
year = {2019}
}
备注
ICML 2019 Workshop on Understanding and Improving Generalization in Deep Learning, additional analysis on a property called Dominant Gradient Flow of Residual Nets in Appendix D