自然梯度方法：视角、高效可扩展近似与分析
机器学习
2023-03-10 v1
摘要
自然梯度下降是一种受信息几何启发的二阶优化方法，它使用 Fisher 信息矩阵而非通常使用的 Hessian 矩阵。然而，在许多情况下，Fisher 信息矩阵等价于广义 Gauss-Newton 方法，二者都对 Hessian 矩阵进行近似。作为一种随机梯度下降的替代方法，它具有吸引力，有可能带来更快的收敛。然而，作为一种二阶方法，使其在具有海量参数和数据的问题中直接使用变得不可行。从深度学习界自一开始就坚持使用随机梯度下降方法便可看出这一点。在本文中，我们考察自然梯度方法的不同视角，研究其高效可扩展经验近似的当前进展，最后通过大量实验检验它们的性能。
引用
@article{arxiv.2303.05473,
title = {Natural Gradient Methods: Perspectives, Efficient-Scalable Approximations, and Analysis},
author = {Rajesh Shrestha},
journal= {arXiv preprint arXiv:2303.05473},
year = {2023}
}
备注
14 pages