黎曼流形上的高效优化：基于无环方差缩减的黎曼优化方法
机器学习
2024-03-12 v1 人工智能
分布式、并行与集群计算
摘要
在本研究中，我们研究了黎曼流形上的随机优化，重点关注欧几里得和黎曼设置中均使用的关键方差缩减机制。黎曼方差缩减方法通常涉及双循环结构，在每个循环开始时计算一个全梯度。在实践中，确定最优内循环长度具有挑战性，因为它依赖于强凸性或光滑性常数，而这些常数通常是未知或难以估计的。受欧几里得方法的启发，我们引入了黎曼无环SVRG（R-LSVRG）和PAGE（R-PAGE）方法。这些方法用每次迭代中由抛硬币触发的概率梯度计算取代了外循环，从而确保了更简洁的证明、高效的超参数选择和尖锐的收敛保证。使用R-PAGE作为非凸黎曼优化的框架，我们展示了其适用于各种重要设置。例如，我们推导了用于带通信压缩的分布式设置的黎曼MARINA（R-MARINA），为黎曼流形上的非凸分布式优化提供了最佳的理论通信复杂度保证。实验结果支持了我们的理论发现。
引用
@article{arxiv.2403.06677,
title = {Streamlining in the Riemannian Realm: Efficient Riemannian Optimization with Loopless Variance Reduction},
author = {Yury Demidovich and Grigory Malinovsky and Peter Richtárik},
journal= {arXiv preprint arXiv:2403.06677},
year = {2024}
}