客户端贡献归一化以增强联邦学习

包括智能手机和笔记本电脑在内的移动设备生成去中心化且异构的数据，由于高昂的通信成本和隐私风险，给传统的集中式机器学习模型带来了重大挑战。联邦学习（FL）通过在不共享数据的情况下实现跨去中心化设备协作训练全局模型，提供了一种有前景的替代方案。然而，FL面临客户端之间统计异质性的挑战，其中非独立同分布（non-IID）数据阻碍了模型收敛和性能。本文聚焦于FL中的数据依赖异质性，提出了一种利用局部训练模型提取的均值潜在表示的新方法。该方法基于这些表示对客户端贡献进行归一化，使中央服务器能够在聚合过程中估计并调整异质性。这种归一化增强了全局模型的泛化能力，缓解了传统联邦平均方法的局限性。主要贡献包括引入基于均值潜在表示的归一化方案以处理FL中的统计异质性，证明其与现有FL算法的无缝集成以提升non-IID设置下的性能，并通过在多样化数据集上的广泛实验进行验证。结果表明在偏斜分布下模型准确性和一致性均有显著提升。我们在六种FL方案（FedAvg、FedProx、FedBABU、FedNova、SCAFFOLD和SGDM）上的实验突显了我们方法的鲁棒性。本研究通过为统计异质性提供一种实用且计算高效的解决方案，推动了FL的发展，有助于开发更可靠和泛化能力更强的机器学习模型。