数据异构下拜占庭鲁棒分布式随机优化的最优复杂度
最优化与控制
2025-03-21 v1 机器学习
摘要
本文针对强凸和非凸随机优化，建立了拜占庭鲁棒分布式一阶随机优化方法的紧致下界。我们发现，当分布式节点具有异构数据时，收敛误差包含两个部分：不随迭代消失的拜占庭误差和随迭代消失的优化误差。我们建立了拜占庭误差的下界，以及为实现任意小的优化误差所需的随机梯度预言机查询次数的最小值下界。然而，我们发现所建立的下界与现有上界之间存在显著差异。为填补这一空白，我们利用 Nesterov 加速和方差缩减技术，提出了新颖的拜占庭鲁棒分布式随机优化方法，并证明其在不计对数因子的情况下匹配这些下界，这表明我们建立的下界是紧致的。
关键词
引用
@article{arxiv.2503.16337,
title = {Optimal Complexity in Byzantine-Robust Distributed Stochastic Optimization with Data Heterogeneity},
author = {Qiankun Shi and Jie Peng and Kun Yuan and Xiao Wang and Qing Ling},
journal= {arXiv preprint arXiv:2503.16337},
year = {2025}
}