过参数化系统中自然梯度的不变性性质
机器学习
2022-07-01 v1 统计理论
统计理论
摘要
自然梯度场是装备有特定黎曼度量（例如 Fisher-Rao 度量）的模型上的一个向量场，表示该度量下模型上目标函数的最速上升方向。在实践中，人们试图通过将普通梯度乘以与该度量相关的 Gram 矩阵的逆，来获得参数空间上的对应方向。我们将参数空间上的该向量称为自然参数梯度。本文中我们研究自然参数梯度的推前何时等于自然梯度。此外，我们考察自然参数梯度的不变性性质。这两个问题均在过参数化设定下讨论。
引用
@article{arxiv.2206.15273,
title = {Invariance Properties of the Natural Gradient in Overparametrised Systems},
author = {Jesse van Oostrum and Johannes Müller and Nihat Ay},
journal= {arXiv preprint arXiv:2206.15273},
year = {2022}
}