动力学等距与 CNN 平均场理论：如何训练 10,000 层朴素卷积神经网络
机器学习
2018-07-11 v2 机器学习
摘要
近年来，计算机视觉中最先进的方法已采用日益深的卷积神经网络架构（CNNs），其中一些最成功的模型使用了数百甚至数千层。梯度消失/爆炸等多种病理现象使得训练此类深度网络具有挑战性。虽然残差连接与批归一化确实能够在这些深度下实现训练，但尚不清楚此类专用架构设计是否真正必要才能训练深度 CNNs。在本工作中，我们证明仅通过使用恰当的初始化方案，即可训练具有一万层或更多层的朴素 CNNs。我们通过建立信号传播的平均场理论并刻画动力学等距（输入-输出雅可比矩阵奇异值的平衡）的条件，从理论上推导了该初始化方案。这些条件要求卷积算子在其保持范数的意义下为正交变换。我们提出了一种生成此类随机初始正交卷积核的算法，并凭经验证明它们能够实现极深架构的高效训练。
引用
@article{arxiv.1806.05393,
title = {Dynamical Isometry and a Mean Field Theory of CNNs: How to Train 10,000-Layer Vanilla Convolutional Neural Networks},
author = {Lechao Xiao and Yasaman Bahri and Jascha Sohl-Dickstein and Samuel S. Schoenholz and Jeffrey Pennington},
journal= {arXiv preprint arXiv:1806.05393},
year = {2018}
}
备注
ICML 2018 Conference Proceedings