FedStein: 借助James-Stein估计器提升多域联邦学习
机器学习
2024-10-07 v1 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习 (FL) 通过在分布式客户端上进行原地协同训练来实现数据隐私保护。尽管具有天然优势，但在处理非独立同分布 (non-i.i.d.) 数据时，联邦学习面临显著的性能和收敛挑战。虽然之前的研究主要关注跨客户端标签分布的偏斜问题，但本研究聚焦于较少探索的多域联邦学习挑战，即客户端数据来自不同域且特征分布有所差异。我们引入一种新方法以应对这些挑战：FedStein——通过James-Stein估计器提升多域联邦学习。FedStein 仅在跨客户端之间共享鲍姆-斯坦 (James-Stein, JS) 估计的批量归一化 (BN) 统计信息，同时保持本地 BN 参数。非 BN 层参数通过标准 FL 技术进行交换。在三个数据集和多个模型上进行的大量实验表明，FedStein 超越了FedAvg 和 FedBN 等现有方法，在某些域中实现超过14%的准确率提升，显著增强了域间泛化能力。代码已公开于 https://github.com/sunnyinAI/FedStein
关键词
引用
@article{arxiv.2410.03499,
title = {FedStein: Enhancing Multi-Domain Federated Learning Through James-Stein Estimator},
author = {Sunny Gupta and Nikita Jangid and Amit Sethi},
journal= {arXiv preprint arXiv:2410.03499},
year = {2024}
}
备注
12 pages, 2 figures. Accepted at International Workshop on Federated Foundation Models In Conjunction with NeurIPS 2024 (FL@FM-NeurIPS'24)