异构数据联邦学习中部分方差缩减的有效性
机器学习
2023-06-12 v2 分布式、并行与集群计算
摘要
客户端间的数据异构性是联邦学习中的关键挑战。先前工作通过对齐客户端与服务器模型或使用控制变量来纠正客户端模型偏移以应对该问题。尽管这些方法在凸或简单非凸问题中实现了快速收敛，其在深度神经网络等过参数化模型中的表现却有所欠缺。本文首先在深度神经网络中重新审视广泛使用的 FedAvg 算法，以理解数据异构性如何影响跨神经网络层的梯度更新。我们观察到，尽管特征提取层能被 FedAvg 高效学习，但客户端间最终分类层的显著多样性阻碍了性能。受此启发，我们提出仅对最终层进行方差缩减以纠正模型偏移。我们证明，这在相似或更低通信成本下显著优于现有基准。此外，我们给出了算法收敛率的证明。
引用
@article{arxiv.2212.02191,
title = {On the effectiveness of partial variance reduction in federated learning with heterogeneous data},
author = {Bo Li and Mikkel N. Schmidt and Tommy S. Alstrøm and Sebastian U. Stich},
journal= {arXiv preprint arXiv:2212.02191},
year = {2023}
}
备注
Accepted to CVPR 2023