批归一化为何损害非 IID 数据上的联邦学习？
机器学习
2023-11-10 v3 分布式、并行与集群计算
摘要
作为一种有前景的分布式学习范式，联邦学习（FL）在网络边缘训练深度神经网络（DNN）模型的同时保护边缘客户端的隐私。为训练大规模 DNN 模型，批归一化（BN）被视为加速训练并提升泛化能力的简单有效手段。然而，近期发现表明，在非独立同分布（non-i.i.d.）数据存在时，BN 会显著损害 FL 的性能。尽管已提出若干 FL 算法来解决该问题，其与集中式方案相比性能仍差距明显。此外，它们均未对 BN 如何损害 FL 收敛提供理论解释。本文给出首个收敛性分析，表明在非 i.i.d. 数据下，BN 中局部与全局统计参数之间的失配导致局部与全局模型间的梯度偏差，从而减缓并偏置 FL 收敛。鉴于此，我们开发了专为 BN 定制的新 FL 算法，称为 FedTAN，其通过迭代分层参数聚合能在多种数据分布下实现鲁棒的 FL 性能。综合实验结果证明了所提 FedTAN 在训练基于 BN 的 DNN 模型上优于现有基线。
引用
@article{arxiv.2301.02982,
title = {Why Batch Normalization Damage Federated Learning on Non-IID Data?},
author = {Yanmeng Wang and Qingjiang Shi and Tsung-Hui Chang},
journal= {arXiv preprint arXiv:2301.02982},
year = {2023}
}