参数化流形优化的加速自然梯度方法
最优化与控制
2025-04-09 v1
摘要
参数化流形优化问题频繁出现在各种机器学习任务中，其中状态函数定义在无限维流形上。我们提出了统一的加速自然梯度下降（ANGD）框架，以解决这些问题。通过纳入Hessian驱动的阻尼项，我们推导出缓解振荡的加速黎曼梯度（ARG）流。进一步地，本文为ARG流提出等价的一阶系统，实现统一的离散化方案，导致ANGD方法。在離散更新中，我们的框架考虑了各种先进技术，包括更新方向的最小二乘近似、投影动量以加快收敛速度，以及通过Kronecker积实现的高效近似方法。它适用于各种度量，包括 、Fisher-Rao 和 Wasserstein-2 度量，为大规模参数空间提供了计算高效的解决方案。我们在地理凸性假设下建立了ARG流的收敛率。数值实验表明，ANGD 在各种深度学习任务中均优于标准NGD，凸显了其有效性。
关键词
引用
@article{arxiv.2504.05753,
title = {Accelerated Natural Gradient Method for Parametric Manifold Optimization},
author = {Chenyi Li and Shuchen Zhu and Zhonglin Xie and Zaiwen Wen},
journal= {arXiv preprint arXiv:2504.05753},
year = {2025}
}