在非独立同分布场景下联邦学习中归一化层的实验研究
机器学习
2023-03-21 v1 人工智能
分布式、并行与集群计算
摘要
训练深度学习（DL）模型需要大量高质量的数据集，这些数据集通常由来自不同机构的数据汇集而成。联邦学习（FL）作为一种保护隐私的数据集汇聚方法正逐渐兴起，它通过迭代地全局聚合本地训练的模型，利用来自不同机构的协作训练来实现。FL 的一个关键性能挑战是在联邦参与者之间非独立同分布的数据集上进行操作。尽管这种脆弱性无法消除，但可以通过对两个超参数的适当优化来缓解：层归一化方法和协作频率选择。在这项工作中，我们在训练神经网络（NN）时对五种不同的归一化层、两类非独立同分布数据偏斜以及两个数据集进行了基准测试。结果表明，在集中式深度学习中广泛使用的批归一化并不是 FL 的最佳选择，而组归一化和层归一化始终优于批归一化。类似地，频繁的模型聚合会降低收敛速度和模式质量。
引用
@article{arxiv.2303.10630,
title = {Experimenting with Normalization Layers in Federated Learning on non-IID scenarios},
author = {Bruno Casella and Roberto Esposito and Antonio Sciarappa and Carlo Cavazzoni and Marco Aldinucci},
journal= {arXiv preprint arXiv:2303.10630},
year = {2023}
}
备注
10 pages, Submitted to IEEE Transactions on Neural Networks and Learning Systems