通过层自适应稀疏模型聚合实现抗拜占庭联邦学习
机器学习
2024-09-05 v1 密码学与安全
分布式、并行与集群计算
摘要
联邦学习（Federated Learning, FL）使多个客户端能够在不共享本地数据的情况下协同训练模型。然而，FL系统容易受到旨在通过上传恶意模型更新来干扰模型训练过程的拜占庭攻击的威胁。现有的基于规则的鲁棒聚合方法忽略了不同模型层更新中幅度和方向差异的多样性，导致鲁棒性表现受限，尤其是在非独立同分布（non-IID）设置下效果更为有限。为解决这些挑战，我们提出了层自适应稀疏模型聚合（Layer-Adaptive Sparsified Model Aggregation, LASA）方法，结合聚合前稀疏化与层级自适应聚合，以提升鲁棒性。具体而言，LASA包含一个聚合前稀疏化模块，对来自每个客户端的更新进行稀疏化处理，减少恶意参数的影响，并最小化对后续过滤过程的次要参数的干扰。基于稀疏化后的更新，层级自适应滤波器会综合所有客户端的幅度和方向指标，自适应选择良好层级进行聚合。我们对LASA的详细鲁棒性理论分析以及集成LASA的FL系统的韧性分析。开展了在 various IID 和非IID 数据集上的大量实验。数值结果表明，LASA的有效性。代码已公开于 \url{https://github.com/JiiahaoXU/LASA}。
引用
@article{arxiv.2409.01435,
title = {Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation},
author = {Jiahao Xu and Zikai Zhang and Rui Hu},
journal= {arXiv preprint arXiv:2409.01435},
year = {2024}
}