联邦学习中归一化方法的再思考
机器学习
2023-10-31 v1
摘要
联邦学习（FL）是一种流行的分布式学习框架，可通过不显式共享私有数据来降低隐私风险。本文中，我们明确揭示了FL中的外部协变量偏移问题，其由不同设备上独立的本地训练过程引起。我们证明外部协变量偏移会导致部分设备对全局模型的贡献被抹除。进而，我们表明归一化层在FL中不可或缺，因为其固有属性可缓解贡献被抹除的问题。然而，近期工作表明，作为众多深度神经网络标准组件之一的批归一化，在FL中会导致全局模型精度下降。批归一化在FL中失效的根本原因鲜有深入研究。我们揭示外部协变量偏移正是批归一化在FL中无效的关键原因。我们还表明层归一化是FL中更好的选择，可缓解外部协变量偏移并提升全局模型性能。我们在非IID设置下的CIFAR10上开展实验，结果表明采用层归一化的模型收敛最快，并在三种不同模型架构上取得最佳或相当的精度。
引用
@article{arxiv.2210.03277,
title = {Rethinking Normalization Methods in Federated Learning},
author = {Zhixu Du and Jingwei Sun and Ang Li and Pin-Yu Chen and Jianyi Zhang and Hai "Helen" Li and Yiran Chen},
journal= {arXiv preprint arXiv:2210.03277},
year = {2023}
}
备注
Submitted to DistributedML'22 workshop