联邦学习中拜占庭鲁棒聚合方案的实验研究
机器学习
2023-02-15 v1
摘要
拜占庭鲁棒联邦学习旨在缓解联邦训练过程中的拜占庭故障，其中恶意参与者可能向中心服务器上传任意本地更新以降低全局模型的性能。近年来，人们提出了若干鲁棒聚合方案来防御来自拜占庭客户端的恶意更新并提升联邦学习的鲁棒性。这些方案在某些假设下被称为拜占庭鲁棒。除此之外，新的攻击策略不断涌现，力图规避这些防御方案。然而，目前缺乏对其系统的比较与实证研究。本文中，我们使用联邦学习中两种流行的算法 FedSGD 和 FedAvg，在不同攻击下对拜占庭鲁棒聚合方案进行实验研究。我们首先调研现有的拜占庭攻击策略以及旨在防御拜占庭攻击的拜占庭鲁棒聚合方案。我们还提出一种新方案 ClippedClustering，通过自动裁剪更新来增强基于聚类的方案的鲁棒性。随后，我们在五种不同拜占庭攻击的场景下对八种聚合方案进行实验评估。我们的结果表明，这些聚合方案在某些情况下能保持较高准确率，但在其他情况下无效。特别地，我们提出的 ClippedClustering 在独立同分布（IID）本地数据集下成功防御了大多数攻击。然而，当本地数据集为非独立同分布（Non-IID）时，所有聚合方案的性能显著下降。在 Non-IID 数据下，即便在完全无拜占庭客户端的情况下，其中某些聚合方案也会失败。我们得出结论：所有聚合方案的鲁棒性都是有限的，这凸显了对新防御策略的需求，尤其是针对 Non-IID 数据集。
引用
@article{arxiv.2302.07173,
title = {An Experimental Study of Byzantine-Robust Aggregation Schemes in Federated Learning},
author = {Shenghui Li and Edith C. -H. Ngai and Thiemo Voigt},
journal= {arXiv preprint arXiv:2302.07173},
year = {2023}
}
备注
This paper has been accepted for publication in IEEE Transactions on Big Data