延迟动量聚合：面向部分参与式分布式学习的通信高效抗 Byzantine 方法
机器学习
2026-01-30 v2 最优化与控制
摘要
部分参与是大规模分布式学习中通信高效性的关键，但现有抗 Byzantine 方法通常假设客户端全部分参与。在部分参与场景下，当 Byzantine 客户端占主导时，现有方法会立即失效。我们提出延迟动量聚合（delayed momentum aggregation）的原理，即中央服务器聚合来自未参与客户端的缓存动量，同时聚合来自参与客户端的新鲜动量。该原理确保即使 Byzantine 客户端主导样本集合，他们在服务器层面仍为少数。我们将该原理实现于优化器DeMoA。我们分析DeMoA的收敛速度，证明在部分参与下DeMoA具有抗 Byzantine 鲁棒性。实验表明，在20% Byzantine 比例下仅10%部分参与率，DeMoA即使在现有方法失效时也能获得最佳准确率。
引用
@article{arxiv.2509.02970,
title = {Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation},
author = {Kaoru Otsuka and Yuki Takezawa and Makoto Yamada},
journal= {arXiv preprint arXiv:2509.02970},
year = {2026}
}
备注
Substantial corrections to the proofs, removal of the bounded gradient assumption, and additional experimental results