联邦鲁棒性传播:在异构联邦学习中共享鲁棒性
机器学习
2022-07-08 v2 分布式、并行与集群计算
机器学习
摘要
联邦学习(FL)作为一种流行的分布式学习范式而出现,它从一组参与用户中学习模型而无需共享原始数据。FL的一个主要挑战来自异构用户,他们可能拥有分布不同(或非独立同分布)的数据和不同的计算资源。由于联邦用户将使用该模型进行预测,他们通常要求训练好的模型在测试时对抗恶意攻击者具有鲁棒性。尽管对抗训练(AT)为集中式学习提供了可靠的解决方案,但将其用于联邦用户却带来了重大挑战,因为许多用户可能训练数据非常有限且计算预算紧张,难以负担数据密集且昂贵的AT。在本文中,我们研究了一种新颖的FL策略:在联邦学习过程中,将对抗鲁棒性从能够负担AT的富资源用户传播给无法负担它的贫资源用户。我们表明现有FL技术无法有效与该策略结合以在非独立同分布用户间传播鲁棒性,并通过对批归一化的恰当使用提出了一种高效的传播方法。我们通过大量实验证明了我们方法的合理性与有效性。特别地,所提方法被证明即使仅有一小部分用户在训练期间负担得起AT,也能赋予联邦模型显著的鲁棒性。源代码将被发布。
引用
@article{arxiv.2106.10196,
title = {Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning},
author = {Junyuan Hong and Haotao Wang and Zhangyang Wang and Jiayu Zhou},
journal= {arXiv preprint arXiv:2106.10196},
year = {2022}
}