正交初始化与训练的信息几何
机器学习
2019-06-05 v2 机器学习
摘要
近来，平均场理论已成功用于分析宽随机神经网络的性质。它催生了一种规范理论，用正交权重初始化前馈神经网络，确保前向传播的激活值与反向传播的梯度均接近 等距映射，从而使得训练速度提升数个数量级。尽管经验性能强劲，但临界初始化赋予深度神经网络优化优势的机制仍知之甚少。本文展示了由 Fisher 信息矩阵（FIM）度量的优化景观最大曲率（梯度平滑度）与输入输出 Jacobian 谱半径之间的新颖联系，这在一定程度上解释了为何更具等距性的网络能训练得更快。此外，鉴于正交权重对于确保梯度范数在初始化时近似保持是必要的，我们通过实验研究了在整个训练过程中保持正交性的益处，并得出结论：权重的流形优化无论梯度平滑度如何都表现良好。而且，受实验结果启发，我们表明 FIM 的低条件数与更快的学习并无预测关系。
引用
@article{arxiv.1810.03785,
title = {Information Geometry of Orthogonal Initializations and Training},
author = {Piotr A. Sokol and Il Memming Park},
journal= {arXiv preprint arXiv:1810.03785},
year = {2019}
}
备注
10 pages and 5 figures; 5 page appendix