局部学习至关重要：重新思考联邦学习中的数据异构性
机器学习
2022-04-15 v3 计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习（FL）是一种借助客户端（即边缘设备）网络进行隐私保护分布式学习的有前景策略。然而，客户端间的数据分布往往天然为非独立同分布（non-IID），使得高效优化困难。为缓解此问题，许多 FL 算法聚焦于通过引入多种近邻项（其中一些带来可观的计算和/或内存开销）来抑制局部更新相对于全局模型的偏移，从而减轻跨客户端数据异构性的影响。相反，我们考虑以局部学习泛化性而非近邻约束为重点，重新思考 FL 中数据异构性的解决方案。为此，我们首先基于二阶指标展开系统性研究，以更好理解 FL 中算法的有效性。有趣的是，我们发现标准正则化方法在缓解数据异构性影响方面是出奇强劲的表现者。基于我们的发现，我们进一步提出一种简单有效的方法 FedAlign，以克服数据异构性及先前方法的缺陷。FedAlign 在多种设定下以最小的计算与内存开销取得了与最先进 FL 方法相竞争的精度。代码见 https://github.com/mmendiet/FedAlign
引用
@article{arxiv.2111.14213,
title = {Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning},
author = {Matias Mendieta and Taojiannan Yang and Pu Wang and Minwoo Lee and Zhengming Ding and Chen Chen},
journal= {arXiv preprint arXiv:2111.14213},
year = {2022}
}
备注
CVPR 2022