在分布式学习中重构通信压缩与拜占庭鲁棒性
机器学习
2025-11-04 v2
摘要
分布式学习使模型训练能够在去中心化数据上实现可扩展性，但仍受拜占庭故障和高通信成本的阻碍。虽然这两项挑战都有大量研究，但它们之间的相互作用得到了有限的关注。先前的工作表明，若 naively 将通信压缩与拜占庭鲁棒聚合相组合，可能会严重削弱对故障节点的韧性。当前的最佳实践 Byz-DASHA-PAGE 利用基于动量的方差缩减方案来抵消压缩噪声对拜占庭鲁棒性的负面影响。在本文中，我们引入 RoSDHB—a 一种新算法，将经典的 Polyak 动量与协调压缩策略相结合。理论上，RoSDHB 在标准的 (G,B)-梯度不相似模型下，与 Byz-DASHA-PAGE 保持相同的收敛保证，同时采用更温和的假设条件，并在每个客户端上所需的内存和通信量更少。实验上，RoSDHB 在实现显著通信节省的同时，显示出比 Byz-DASHA-PAGE 更强的鲁棒性。
引用
@article{arxiv.2508.17129,
title = {Reconciling Communication Compression and Byzantine-Robustness in Distributed Learning},
author = {Diksha Gupta and Antonio Honsell and Chuan Xu and Nirupam Gupta and Giovanni Neglia},
journal= {arXiv preprint arXiv:2508.17129},
year = {2025}
}
备注
32 pages