实现动态等距的深度网络Fisher信息谱
机器学习
2021-03-31 v4 机器学习
概率论
摘要
Fisher信息矩阵（FIM）对于理解深度神经网络（DNN）的可训练性至关重要，因为它描述了参数空间的局部度量。我们通过关注实现动态等距的全连接网络，研究了条件FIM（即给定单个样本的FIM）的谱分布。然后，虽然已知动态等距能使特定的反向传播信号与深度无关，但我们发现即使在动态等距下，参数空间的局部度量也线性依赖于深度。更精确地说，我们揭示了条件FIM的谱集中在最大值附近，且该值随深度增加而线性增长。为了研究该谱，考虑随机初始化和宽极限，我们构建了基于自由概率理论的代数方法。作为副产品，我们提供了两层隐藏层情况下可解谱分布的分析。最后，实验验证了DNN在线训练的适当学习率与深度成反比，这由条件FIM的谱决定。
引用
@article{arxiv.2006.07814,
title = {The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry},
author = {Tomohiro Hayase and Ryo Karakida},
journal= {arXiv preprint arXiv:2006.07814},
year = {2021}
}
备注
Accepted into AISTATS2021