对称正定矩阵流形上无向量传输的黎曼 LBFGS 优化

Reza Godaz; Benyamin Ghojogh; Reshad Hosseini; Reza Monsefi; Fakhri Karray; Mark Crowley

对称正定矩阵流形上无向量传输的黎曼 LBFGS 优化

最优化与控制 2021-12-09 v2 机器学习数值分析数值分析机器学习

作者: Reza Godaz , Benyamin Ghojogh , Reshad Hosseini , Reza Monsefi , Fakhri Karray , Mark Crowley

摘要

本文专注于黎曼流形上的优化。有限内存 Broyden-Fletcher-Goldfarb-Shanno (LBFGS) 算法是欧几里得空间中数值优化常用的拟牛顿法。黎曼 LBFGS (RLBFGS) 是该方法在黎曼流形上的扩展。RLBFGS 涉及计算昂贵的向量传输以及使用伴随向量传输展开递归。在本文中，我们利用逆二次根和 Cholesky 分解在切空间中提出了两种映射。这些映射使得向量传输和伴随向量传输都成为恒等映射，因此是等距的。恒等向量传输降低了 RLBFGS 的计算成本，其等距性在 RLBFGS 的收敛性分析中也十分有用。此外，在所提出的映射下，黎曼度量退化为欧几里得内积，这大大降低了计算成本。我们专注于对称正定 (SPD) 流形，它在数据科学和统计学等多个领域都很有用。这项工作为将所提出的映射扩展到其他著名流形开辟了研究机会。

关键词

黎曼优化 LBFGS 对称正定矩阵向量传输 Cholesky 分解拟牛顿法 SPD 流形

引用

@article{arxiv.2108.11019,
  title  = {Vector Transport Free Riemannian LBFGS for Optimization on Symmetric Positive Definite Matrix Manifolds},
  author = {Reza Godaz and Benyamin Ghojogh and Reshad Hosseini and Reza Monsefi and Fakhri Karray and Mark Crowley},
  journal= {arXiv preprint arXiv:2108.11019},
  year   = {2021}
}

备注

Published in the 13th Asian Conference on Machine Learning (ACML) 2021. The first two authors contributed equally to this work

对称正定矩阵流形上无向量传输的黎曼 LBFGS 优化

摘要

关键词

引用

备注

相关论文