残差网络表现得如同相对浅层网络的集成
计算机视觉与模式识别
2016-10-28 v2 人工智能
机器学习
神经与进化计算
摘要
在这项工作中，我们提出了对残差网络的一种新解释，表明它们可以被视为许多不同长度路径的集合。此外，残差网络似乎通过在训练期间仅利用短路径来实现非常深的网络。为支持这一观察，我们将残差网络重写为路径的显式集合。与传统模型不同，残差网络中的路径长度各异。进一步，一项损伤研究揭示这些路径表现出类似集成的行为，即它们并不强烈依赖于彼此。最后，也是最令人惊讶的，大多数路径比人们预期的要短，且训练期间仅需要短路径，因为更长路径不贡献任何梯度。例如，一个110层残差网络中的大部分梯度来自仅10-34层深的路径。我们的结果揭示了似乎能够实现极深网络训练的关键特征之一：残差网络通过引入能够在极深网络全程携带梯度的短路径，避免了梯度消失问题。
引用
@article{arxiv.1605.06431,
title = {Residual Networks Behave Like Ensembles of Relatively Shallow Networks},
author = {Andreas Veit and Michael Wilber and Serge Belongie},
journal= {arXiv preprint arXiv:1605.06431},
year = {2016}
}
备注
NIPS 2016