UniVarFL：面向异构数据的一致性与方差正则化联邦学习
机器学习
2025-06-11 v1 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习(FL)在面临非独立同分布数据时经常遭受严重的性能下降，这主要是由于局部分类器偏差所致。传统的补救措施如全局模型正则化或层冻结要么带来高昂的计算成本，要么难以适应特征偏移。在本工作中，我们提出了 UniVarFL，一种新颖的联邦学习框架，它直接在客户端层面模拟类独立同分布的训练动态，消除了对全局模型的依赖。UniVarFL 在本地训练期间利用了两种互补的正则化策略：分类器方差正则化，将类别概率分布与独立同分布条件下的期望分布对齐，有效缓解局部分类器偏差；以及超球一致性正则化，鼓励特征表示在超球面上均匀分布，从而增强模型在不同数据分布下的泛化能力。在多个基准数据集上的大量实验表明，UniVarFL 在准确率上优于现有方法，突显了其作为现实世界联邦学习部署的高可扩展且高效解决方案的潜力，尤其是在资源受限的环境中。代码：https://github.com/sunnyinAI/UniVarFL
引用
@article{arxiv.2506.08167,
title = {UniVarFL: Uniformity and Variance Regularized Federated Learning for Heterogeneous Data},
author = {Sunny Gupta and Nikita Jangid and Amit Sethi},
journal= {arXiv preprint arXiv:2506.08167},
year = {2025}
}