自然梯度方法的新见解与视角
机器学习
2020-09-22 v9 机器学习
摘要
自然梯度下降是一种传统上从信息几何角度出发的优化方法，作为随机梯度下降的替代方案在许多应用中表现良好。本文批判性地分析了该方法及其性质，并展示了如何将其视为一种二阶优化方法，其中Fisher信息矩阵充当Hessian矩阵的替代。在许多重要情况下，Fisher信息矩阵被证明等价于广义高斯-牛顿矩阵，后者既近似Hessian矩阵，又具有某些有利于其使用的性质。这一视角对设计实用且稳健的自然梯度优化器具有重要意义，因为它激发了信任区域和Tikhonov正则化等技术的使用。此外，我们对自然梯度和二阶方法的理解做出了一系列贡献，包括：对应用于凸二次型的随机自然梯度下降（以及更一般的随机二阶方法）收敛速度的彻底分析，对常用的Fisher矩阵“经验”近似的批判性检验，以及对自然梯度方法所拥有的（近似）参数化不变性性质的分析（我们证明该性质也适用于某些其他曲率，但值得注意的是不适用于Hessian）。
引用
@article{arxiv.1412.1193,
title = {New insights and perspectives on the natural gradient method},
author = {James Martens},
journal= {arXiv preprint arXiv:1412.1193},
year = {2020}
}
备注
Minor corrections from previous version and fixed typos. Official JMLR version