基于环形全归约分布式学习的拜占庭鲁棒性
密码学与安全
2025-02-14 v2 机器学习
摘要
联邦学习 (FL) 因其数据隐私优势和通过并行计算实现加速收敛的特性而受到关注。传统 FL 依赖于基于服务器-客户端 (SC) 的体系结构，中央服务器协调多个客户端训练全局模型，但该方法因服务器通信瓶颈面临可扩展性挑战。为克服这一问题，引入了环形全归约 (RAR) 体系结构，消除中央服务器，实现带宽最优。然而，RAR 的环形拓扑结构的紧密耦合性暴露了其独特的拜占庭攻击风险，这种风险在 SC-based FL 中并不存在。尽管 RAR 拥有巨大的潜力，但设计具备拜占庭鲁棒性的 RAR-based FL 算法仍是开放问题。为填补这一空白，我们提出了 BRACE (Byzantine-robust ring-all-reduce)，即首个实现拜占庭鲁棒性和通信效率的 RAR-based FL 算法。我们为 BRACE 在拜占庭攻击下的收敛提供了理论保证，展示了其带宽效率，并通过实验验证了其实际有效性。我们的工作为拜占庭鲁棒 RAR-based FL 设计提供了基础性理解。
引用
@article{arxiv.2501.17392,
title = {Byzantine-Robust Federated Learning over Ring-All-Reduce Distributed Computing},
author = {Minghong Fang and Zhuqing Liu and Xuecen Zhao and Jia Liu},
journal= {arXiv preprint arXiv:2501.17392},
year = {2025}
}
备注
To appear in The Web Conference 2025