FedBN：基于局部批归一化的非独立同分布特征联邦学习
机器学习
2021-05-12 v2
摘要
新兴的联邦学习（FL）范式致力于在网络边缘实现深度模型的协同训练，而无需集中聚合原始数据，从而提升数据隐私性。在大多数情况下，本地客户端间样本独立同分布的假设在联邦学习设定中并不成立。在此设定下，神经网络训练性能可能随数据分布显著变化，甚至损害训练收敛。以往工作多聚焦于标签分布差异或客户端偏移。与这些设定不同，我们解决 FL 的一个重要问题，例如医学影像中不同的扫描仪/传感器、自动驾驶中不同的场景分布（高速公路 vs. 城市），其中本地客户端存储的样本与其他客户端相比具有不同分布，我们称之为特征偏移非独立同分布（feature shift non-iid）。本工作中，我们提出一种有效的方法，在模型平均前使用局部批归一化来缓解特征偏移。所得方案称为 FedBN，在我们的大量实验中优于经典的 FedAvg 以及面向非独立同分布数据的当前最优方法（FedProx）。这些实证结果得到收敛性分析的支持，该分析在简化设定下表明 FedBN 比 FedAvg 具有更快的收敛速率。代码见 https://github.com/med-air/FedBN。
引用
@article{arxiv.2102.07623,
title = {FedBN: Federated Learning on Non-IID Features via Local Batch Normalization},
author = {Xiaoxiao Li and Meirui Jiang and Xiaofei Zhang and Michael Kamp and Qi Dou},
journal= {arXiv preprint arXiv:2102.07623},
year = {2021}
}
备注
Accepted at ICLR 2021