克服联邦学习中批归一化的挑战
机器学习
2024-05-24 v1
摘要
批归一化已被证明在集中式环境中能加速训练并提高深度神经网络的准确性。然而，该方案在联邦学习中面临重大挑战，尤其是在高度数据异质性下。本质上，主要挑战来自外部协变量偏移和客户端间统计量不一致。本文提出Federated BatchNorm (FBN)，一种新颖的方案，恢复了批归一化在联邦学习中的优势。本质上，FBN确保训练期间的批归一化与集中式执行中实现的一致，从而保留数据分布，并提供准确近似全局统计量的运行统计量。因此，FBN减少了外部协变量偏移，并匹配了集中式设置的评估性能。我们还表明，通过略微增加复杂度，我们可以使FBN对错误统计量和潜在对抗攻击具有鲁棒性。
引用
@article{arxiv.2405.14670,
title = {Overcoming the Challenges of Batch Normalization in Federated Learning},
author = {Rachid Guerraoui and Rafael Pinot and Geovani Rizk and John Stephan and François Taiani},
journal= {arXiv preprint arXiv:2405.14670},
year = {2024}
}