黎曼流形上无逆自然梯度下降

自然梯度方法在统计优化中被广泛使用，但其标准形式假设欧几里得参数空间。本文提出了一种针对参数位于黎曼流形上的概率分布的无逆随机自然梯度方法。流形设定提供了若干优势：可以隐式地强制参数约束（如正定性和正交性），确保参数可识别，或保证目标的正则性性质如测地凸性。基于流形上 Fisher 信息矩阵（FIM）的内在表述，我们的方法维护了逆 FIM 的在线近似，通过在连续迭代点处采样的得分向量以二次代价高效更新。在黎曼设定中，这些得分向量属于不同的切空间，必须使用传输操作进行组合。我们证明了当步长指数 $\alpha > 2/3$ 时，到最小化器的平方距离的几乎必然收敛率为 $O(\log{s}/s^\alpha)$。我们还为近似 FIM 建立了几乎必然速率，其现在累积了传输引起的误差。提出了该算法的一个有限内存变体，其存储复杂度为次二次。最后，我们在具有高斯近似的变分贝叶斯和归一化流上展示了该方法相对于其欧几里得对应方法的有效性。