深度网络中谱普适性的涌现
机器学习
2018-02-28 v1 机器学习
摘要
近期研究表明，在初始化时深度网络输入-输出 Jacobian 矩阵的整个奇异值谱紧密集中于 1 附近，可将学习速度提升数个数量级。因此，为指导重要的设计选择，建立关于初始化时 Jacobian 谱的完整理论理解十分重要。为此，我们利用自由概率论中的有力工具，详细解析地理解深度网络的 Jacobian 谱如何依赖于各种超参数，包括非线性函数、权重与偏置分布以及深度。对于多种非线性函数，我们的工作揭示了新的普适极限谱分布的涌现，这些分布即使在深度趋于无穷时仍集中于 1 附近。
引用
@article{arxiv.1802.09979,
title = {The Emergence of Spectral Universality in Deep Networks},
author = {Jeffrey Pennington and Samuel S. Schoenholz and Surya Ganguli},
journal= {arXiv preprint arXiv:1802.09979},
year = {2018}
}
备注
17 pages, 4 figures. Appearing at the 21st International Conference on Artificial Intelligence and Statistics (AISTATS) 2018