Prox-DBRO-VR：基于方差缩减与非渐近收敛速率的拜占庭鲁棒去中心化随机复合优化统一分析
最优化与控制
2025-06-24 v12 系统与控制
系统与控制
摘要
当网络中所有智能体均可靠时，去中心化随机梯度算法能高效求解大规模有限和(finite-sum)优化问题。然而，这类算法大多无法抵御故障智能体、软件缺陷与网络攻击等不利条件。本文旨在处理多智能体系统(MASs)中在存在未知数量拜占庭智能体时的一类通用复合优化问题。基于一种鲁棒聚合机制与近端正梯度映射方法，提出了一种拜占庭鲁棒去中心化随机近端正梯度算法框架，称为 Prox-DBRO-VR，其仅利用本地计算与通信即可实现优化与控制目标。为渐近降低本地梯度估计产生的噪声方差并加速收敛，我们将两种局部化方差缩减(VR)技术（SAGA 与 LSVRG）引入 Prox-DBRO-VR，设计了 Prox-DBRO-SAGA 与 Prox-DBRO-LSVRG。通过在统一理论框架中分析梯度学习误差、鲁棒一致性条件与收敛误差之间的收缩关系，证明了在标准假设下，Prox-DBRO-SAGA 与 Prox-DBRO-LSVRG 在采用精心设计的常数（相应地，衰减）步长时，能在原问题最优解附近的一个误差球内线性（相应地，次线性）收敛。我们还刻画了线性与次线性两种情形下收敛精度与拜占庭鲁棒性之间的权衡。数值实验中，通过在多种拜占庭攻击下求解一个去中心化稀疏机器学习问题，表明了所提算法的有效性与实用性。
引用
@article{arxiv.2305.08051,
title = {Prox-DBRO-VR: A Unified Analysis on Byzantine-Resilient Decentralized Stochastic Composite Optimization with Variance Reduction and Non-Asymptotic Convergence Rates},
author = {Jinhui Hu and Guo Chen and Huaqing Li and Xiaoyu Guo and Liang Ran and Tingwen Huang},
journal= {arXiv preprint arXiv:2305.08051},
year = {2025}
}
备注
17 pages, 13 figures