从不精确梯度到拜占庭鲁棒性：在相似性假设下的加速与优化
机器学习
2026-02-04 v1 最优化与控制
摘要
标准的联邦学习算法 vulnerable to 对抗性节点，即 Byzantine 故障。为解决此问题，已developed 鲁棒分布式学习算法，这些算法通常将参数平均替换为鲁棒聚合。虽然存在这些聚合的通用条件以保证 (随机) 梯度下降 (SGD) 的收敛，但分析仍相当 ad-hoc。这阻碍了更复杂鲁棒算法（如加速类算法）的开发。在本文中，我们表明，在标准通用假设下，Byzantine-robust 分布式优化可被视为具有加法和乘法误差项的不精确梯度或acles 的一般优化问题，这是一项活跃的研究领域。这使得我们例如直接表明基于标准鲁棒聚合过程的 GD 在 Byzantine 环境下可获得最优渐近误差。进一步，我们提出两种优化方案以加速收敛。第一种是 Nesterov 类型加速方案，其证明直接来自应用于我们表述的加速不精确梯度结果。第二种基于相似性优化，在该方法中，服务器利用近似全局损失的辅助损失函数。两种方法都可以大幅降低与先前方法相比的通信复杂度，我们在理论和实证方面均已证明。
引用
@article{arxiv.2602.03329,
title = {From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity},
author = {Renaud Gaucher and Aymeric Dieuleveut and Hadrien Hendrikx},
journal= {arXiv preprint arXiv:2602.03329},
year = {2026}
}