良态与病态深度神经网络的表征
机器学习
2019-06-20 v5 机器学习
摘要
我们提出了一种仅需温和假设的新方法，用于在初始化时表征深度神经网络。我们的方法同时适用于全连接网络和卷积网络，并可轻松纳入批量归一化与跳跃连接。我们的关键洞见是考察信号与噪声的统计矩随深度的演化，从而通过超参数的选择所编码的假设空间中表征病态的存在与否。我们确立了：(i) 对于带或不带批量归一化的前馈网络，层组合的可乘性不可避免地导致不良矩与病态；(ii) 另一方面，对于带批量归一化的残差网络，跳跃连接引发幂律而非指数行为，导致良态矩且无病态。
引用
@article{arxiv.1811.03087,
title = {Characterizing Well-Behaved vs. Pathological Deep Neural Networks},
author = {Antoine Labatie},
journal= {arXiv preprint arXiv:1811.03087},
year = {2019}
}
备注
Proceedings of ICML 2019 (with contact info updated and formatting issues fixed). Code available at https://github.com/alabatie/moments-dnns