具有随机深度的深度网络
机器学习
2016-08-01 v3 计算机视觉与模式识别
神经与进化计算
摘要
具有数百层的极深卷积网络在竞争性基准测试上带来了误差的显著降低。尽管众多层无与伦比的表达能力在测试时非常可取，训练极深网络伴随其自身的挑战。梯度可能消失，前向流通常减弱，且训练时间可能极其缓慢。为解决这些问题，我们提出随机深度（stochastic depth），一种使得看似矛盾的设置成为可能的训练过程：训练短网络而在测试时使用深网络。我们从极深网络开始，但在训练期间，对于每个小批量，随机丢弃一部分层并用恒等函数绕过它们。这一简单方法补充了残差网络近期的成功。它在我们用于评估的几乎所有数据集上大幅减少了训练时间并显著改善了测试误差。利用随机深度，我们甚至能将残差网络的深度增加到超过1200层，仍能在测试误差上产生有意义的改进（CIFAR-10上为4.91%）。
引用
@article{arxiv.1603.09382,
title = {Deep Networks with Stochastic Depth},
author = {Gao Huang and Yu Sun and Zhuang Liu and Daniel Sedra and Kilian Weinberger},
journal= {arXiv preprint arXiv:1603.09382},
year = {2016}
}
备注
first two authors contributed equally