以权重提升鲁棒性：迈向最优容错异步机器学习的综合方法
机器学习
2025-06-05 v2
摘要
我们致力于解决异步分布式机器学习系统中的拜占庭鲁棒训练挑战，旨在在 massive parallelization 和异构计算资源中提升效率。异步系统以独立运行的工作节点和间歇性更新为特征，在维护数据完整性以抵御拜占庭故障（包括破坏学习的恶意或错误行为）方面面临独特困难。此类设定中固有的延迟不仅给系统引入了额外偏差，还掩盖了拜占庭故障造成的破坏。为了解决这些问题，我们通过引入一种新颖的加权鲁棒聚合框架，将拜占庭框架适配于异步动态。这使得鲁棒聚合器及一种最近的元聚合器能够扩展至其加权版本，从而减轻延迟更新的影响。通过进一步结合近期的一种方差缩减技术，我们首次在异步拜占庭环境中实现了最优收敛速率。我们的方法通过经验与理论分析得到了严格验证，证明了其在增强异步机器学习系统容错能力和优化性能方面的有效性。
引用
@article{arxiv.2501.09621,
title = {Weight for Robustness: A Comprehensive Approach towards Optimal Fault-Tolerant Asynchronous ML},
author = {Tehila Dahan and Kfir Y. Levy},
journal= {arXiv preprint arXiv:2501.09621},
year = {2025}
}