FedWon：无需归一化实现多域联邦学习的突破

联邦学习（FL）通过去中心化客户端上的协同就地训练增强了数据隐私。然而，FL 因非独立同分布（non-i.i.d）数据而面临挑战，导致潜在的性能下降与收敛受阻。尽管先前研究主要解决标签分布倾斜问题，我们的研究解决了一个关键却常被忽视的问题，即多域 FL。在该场景下，客户端的数据源自具有不同特征分布而非标签分布的多个域。为解决 FL 中的多域问题，我们提出一种称为无归一化联邦学习（FedWon）的新方法。FedWon 的灵感来源于如下观察：批归一化（BN）在有效建模多域统计时面临挑战，而现有归一化技术各有其局限。为解决这些问题，FedWon 去除了 FL 中的归一化层，并通过缩放权重标准化对卷积层进行重参数化。通过在五个数据集和五个模型上的大量实验，我们的综合实验结果表明，FedWon 在所有实验设置中均超越了 FedAvg 与当前最先进方法（FedBN），在某些域上实现了超过 10% 的显著准确率提升。此外，FedWon 对跨孤岛与跨设备 FL 均具有通用性，展现出鲁棒的域泛化能力，即便批大小小至 1 也表现强劲，从而适配资源受限设备。另外，FedWon 也能有效应对标签分布倾斜的挑战。