统计流形上的双黎曼牛顿法
统计计算
2025-11-17 v1 机器学习
摘要
在概率建模中，参数估计常被形式化为参数流形上的最小化问题。优化此类空间需要尊重其 underlying 信息结构的几何感知方法。虽然自然梯度利用 Fisher 信息度量作为一种黎曼梯度下降方法，但它仍是一阶方法，且在最优解附近往往表现出慢收敛。现有的二阶流形算法通常依赖 Levi-Civita 连接，因而忽视了信息几何中核心的双连接结构。我们提出了双黎曼牛顿法，这是一种在度量和一对双仿射连接构成的流形上进行的牛顿型优化算法。双黎曼牛顿法阐明了双性如何塑造二阶更新：当缩影 (retraction，指数映射的局部近似) 由一个连接定义时，其关联的牛顿方程将以其对偶形式进行求解。我们建立了局部二次收敛性，并通过代表性统计模型的实验验证了理论。因此，双黎曼牛顿法在保持现代信息几何学习和推断所依赖的双结构兼容性的同时，提供了二阶效率。
引用
@article{arxiv.2511.11318,
title = {Dual Riemannian Newton Method on Statistical Manifolds},
author = {Derun Zhou and Keisuke Yano and Mahito Sugiyama},
journal= {arXiv preprint arXiv:2511.11318},
year = {2025}
}