Riemannian EXTRA：在紧致子流形上基于数据异构性的通信高效去中心化优化
最优化与控制
2025-05-22 v1
摘要
我们考虑在n个智能体构成的网络中，对紧致黎曼子流形上的去中心化优化问题，其中每个智能体持有由其私有数据定义的光滑非凸局部目标函数。目标是协同最小化这些局部目标函数的和。在节点之间存在数据异构性时，现有算法通常需要传输局部梯度和迭代值以确保常数步长下的精确收敛。本文提出REXTRA算法，这是EXTRA算法[Shi等, SIOPT, 2015]的黎曼扩展，以克服上述限制。在理论方面，我们利用proximal光滑性技术，克服流形非凸性的挑战，建立了全局亚线性收敛速率O(1/k)，与已知最佳结果相符。据我们所知，REXTRA是首个在常数步长下仅需每迭代中进行一次本地迭代传输即可实现全局亚线性收敛速率的算法。数值实验表明，REXTRA的性能优于现有SOTA方法，同时支持更大步长，总通信量降低超过50%。
引用
@article{arxiv.2505.15537,
title = {Riemannian EXTRA: Communication-efficient decentralized optimization over compact submanifolds with data heterogeneity},
author = {Jiayuan Wu and Zhanwang Deng and Jiang Hu and Weijie Su and Zaiwen Wen},
journal= {arXiv preprint arXiv:2505.15537},
year = {2025}
}
备注
21 pages