Solon：通过冗余梯度实现通信高效的拜占庭弹性分布式训练
机器学习
2021-10-12 v2 分布式、并行与集群计算
摘要
在分布式模型训练中提供拜占庭弹性的需求日益增长。现有的鲁棒分布式学习算法侧重于在参数服务器上开发复杂的鲁棒聚合器，但较少关注平衡通信成本与鲁棒性。在本文中，我们提出 Solon，一个利用梯度冗余同时提供通信效率与拜占庭鲁棒性的算法框架。我们的理论分析揭示了计算负载、通信成本和拜占庭鲁棒性之间的基本权衡。我们还借鉴编码理论与稀疏恢复的思想，开发了一种具体算法以实现最优权衡。在各种数据集上的实证实验表明，Solon 相较于现有方法在达到相同精度时提供了显著加速，比 Bulyan 快 10 倍以上，比 Draco 快 80%。我们还展示了精心设计的拜占庭攻击可攻破 Signum 和 Bulyan，但不影响 Solon 的成功收敛。
引用
@article{arxiv.2110.01595,
title = {Solon: Communication-efficient Byzantine-resilient Distributed Training via Redundant Gradients},
author = {Lingjiao Chen and Leshang Chen and Hongyi Wang and Susan Davidson and Edgar Dobriban},
journal= {arXiv preprint arXiv:2110.01595},
year = {2021}
}