中文

(修订版)Push-LSVRG-UP:非平衡有向网络与不协调触发概率下的分布式随机优化

最优化与控制 2025-05-20 v6 系统与控制 系统与控制

摘要

分布式随机优化源于传统随机优化、分布式计算与存储以及网络科学的交叉与融合,在求解大规模优化问题时具有高效及单次迭代计算复杂度低的优势。本文聚焦于求解多智能体系统在非平衡有向网络上的大规模凸有限和优化问题。为高效应对该问题,我们提出并命名了一种分布式共识优化算法 Push-LSVRG-UP,其采用 push-sum 技术以及具有不协调触发概率的分布式无环随机方差缩减梯度(LSVRG)方法。在该算法框架下,各智能体仅执行本地计算并仅与邻居通信,且不泄露其私有信息。Push-LSVRG-UP 的收敛性分析依赖于分析多智能体系统相关的四个误差项之间的收缩关系。理论结果给出了常数步长的显式可行范围、线性收敛率,以及 Push-LSVRG-UP 达到全局最优解时的迭代复杂度。研究表明,与多数现有工作相比,Push-LSVRG-UP 具备加速线性收敛、更少存储开销及更低单次迭代计算复杂度的优越特性。同时,不协调概率触发机制的引入使 Push-LSVRG-UP 提升了智能体在计算本地批量梯度时的独立性与灵活性。仿真中,基于真实世界数据集求解两个分布式学习问题,展现了 Push-LSVRG-UP 的实用性与性能改进。

关键词

引用

@article{arxiv.2305.09181,
  title  = {(Corrected Version) Push-LSVRG-UP: Distributed Stochastic Optimization over Unbalanced Directed Networks with Uncoordinated Triggered Probabilities},
  author = {Jinhui Hu and Guo Chen and Huaqing Li and Zixiang Shen and Weidong Zhang},
  journal= {arXiv preprint arXiv:2305.09181},
  year   = {2025}
}

备注

16 pages, 30 figures