利用克罗内克因子近似曲率优化神经网络
机器学习
2020-06-09 v7 神经与进化计算
机器学习
摘要
我们提出了一种用于近似神经网络中自然梯度下降的高效方法，称之为克罗内克因子近似曲率(K-FAC)。K-FAC基于神经网络Fisher信息矩阵的一种高效可逆近似，该近似既非对角也非低秩，在某些情况下完全非稀疏。它通过将Fisher矩阵的各种大块（对应整个层）近似为两个更小矩阵的克罗内克积而导出。尽管计算代价仅为普通随机梯度的数倍，K-FAC产生的更新在优化目标上取得更大进展，从而在实践中产生比带动量的随机梯度下降快得多的算法。并且与一些先前提出的使用高质量非对角曲率矩阵（如Hessian-free优化）的近似自然梯度/牛顿法不同，K-FAC在高度随机优化机制下表现非常好。这是因为存储和求逆K-FAC对曲率矩阵的近似的代价不依赖于用于估计它的数据量，这一特性通常仅与对角或低秩曲率矩阵近似相关。
引用
@article{arxiv.1503.05671,
title = {Optimizing Neural Networks with Kronecker-factored Approximate Curvature},
author = {James Martens and Roger Grosse},
journal= {arXiv preprint arXiv:1503.05671},
year = {2020}
}
备注
Reduction ratio formula corrected. Removed incorrect claim about geodesics in footnote