BN-SCAFFOLD：控制批量归一化统计在联邦学习中的漂移
机器学习
2024-10-07 v1
摘要
联邦学习（Federated Learning, FL）正日益流行，作为在分布式环境中训练机器学习（Machine Learning, ML）模型的学习范式。批量归一化（Batch Normalization, BN）在深度神经网络（Deep Neural Networks, DNN）中广泛存在，因其可改善收敛和泛化。然而，BN被报告会阻碍DNN在异构联邦学习中的性能。最近，FedTAN算法被提出来缓解BN上的异构性影响，通过聚合来自所有客户端的BN统计信息和梯度。然而，其通信成本较高，随着DNN深度线性增长。SCAFFOLD是一种方差缩减算法，通过估计和纠正客户端漂移以实现通信效率。尽管其在异构联邦学习环境中表现前景广�好，但被报告在含有BN的模型中表现不佳。本文旨在唤醒SCAFFOLD，以及更广泛的方差缩减方法，以高效训练含有BN的DNN。我们提出了一种统一的理论框架，用于分析BN-DNN设置下方差缩减算法的收敛性，灵感来自Wang等人2023年的工作，表明SCAFFOLD无法消除BN引入的偏差。我们提出了BN-SCAFFOLD算法，通过扩展SCAFFOLD的客户端漂移纠正至BN统计。我们使用上述框架证明了收敛性，并通过在MNIST和CIFAR-10上的实验验证了理论结果。BN-SCAFFOLD等同于FedTAN的性能，却没有其高的通信成本，超越了Federated Averaging（FedAvg）、SCAFFOLD以及其他旨在缓解BN异构性的联邦学习算法。
引用
@article{arxiv.2410.03281,
title = {BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning},
author = {Gonzalo Iñaki Quintana and Laurence Vancamberg and Vincent Jugnon and Mathilde Mougeot and Agnès Desolneux},
journal= {arXiv preprint arXiv:2410.03281},
year = {2024}
}