深度信息传播
机器学习
2017-04-06 v2 机器学习
摘要
我们使用平均场理论研究权重和偏置随机分布的未训练神经网络的行为。我们展示了自然限制信号通过这些随机网络传播的最大深度的深度尺度的存在。我们的主要实际结果是表明随机网络仅在信息能够穿过它们时才可被训练。因此，我们识别的深度尺度为针对特定超参数选择网络可训练的最大深度提供了界限。作为推论，我们认为在处于混沌边缘的网络中，这些深度尺度之一发散。因此任意深的网络仅在足够接近临界性时才可训练。我们展示了dropout的存在破坏了有序-混沌临界点，从而强烈限制了随机网络的最大可训练深度。最后，我们发展了反向传播的平均场理论，并展示有序和混沌相对应于梯度消失和梯度爆炸的区域。
引用
@article{arxiv.1611.01232,
title = {Deep Information Propagation},
author = {Samuel S. Schoenholz and Justin Gilmer and Surya Ganguli and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:1611.01232},
year = {2017}
}