混合批归一化：解决联邦学习中批归一化的困境
机器学习
2025-05-29 v1 分布式、并行与集群计算
摘要
批归一化（Batch Normalisation, BN）在传统深度神经网络训练中被广泛使用，以协调每批数据的输入-输出分布。然而，联邦学习作为一种分布式学习范式，面临着处理客户端节点间非独立同分布数据的挑战。由于缺乏更新 BN 统计参数的连贯方法，标准 BN 会降低联邦学习的性能。为此，探索适用于联邦学习的替代归一化方案迫在眉睫。在本工作中，我们通过开发一种定制的归一化方法——混合批归一化（Hybrid Batch Normalisation, HBN），解决了联邦学习中 BN 层的困境。HBN 将统计参数（即用于评估的均值和方差）的更新与可学习参数（即需要梯度更新的参数）的更新分离，从而在分布式场景中获得全局统计参数的无偏估计。与现有解决方案相比，我们强调了全局统计量对联邦学习的支持作用。HBN 层引入了一个可学习的混合分布因子，允许每个计算节点自适应地将当前批次的统计参数与全局统计量进行混合。我们的 HBN 可以作为一个强大的插件来提升联邦学习性能。它在广泛的联邦学习设置中展现出有希望的优势，特别是在小批量大小和异构数据方面。
引用
@article{arxiv.2505.21877,
title = {Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning},
author = {Hongyao Chen and Tianyang Xu and Xiaojun Wu and Josef Kittler},
journal= {arXiv preprint arXiv:2505.21877},
year = {2025}
}