通过分阶段松弛初始化理解一致性在联邦学习中的作用
机器学习
2023-06-12 v1 分布式、并行与集群计算
最优化与控制
摘要
联邦学习（FL）是一种分布式范式，其协调大量本地客户端，通过在异构数据集上进行分阶段本地训练过程来协作训练全局模型。先前的工作已隐式地研究表明，FL 遭受“客户端漂移”问题，该问题由本地客户端之间最优解的不一致所引起。然而，迄今为止仍缺乏坚实的理论分析来解释这种本地不一致性的影响。为缓解“客户端漂移”的负面影响并探究其在 FL 中的本质，本文首先设计了一种高效的 FL 算法 FedInit，其允许在每个本地训练阶段开始时采用个性化的松弛初始化状态。具体而言，FedInit 通过从当前全局状态朝最新本地状态的相反方向移动来初始化本地状态。这种松弛初始化有助于修正本地分歧并提升本地一致性水平。此外，为进一步理解不一致性如何破坏 FL 中的性能，我们引入超额风险分析并研究分歧项，以考察所提 FedInit 方法的测试误差。我们的研究表明，优化误差对这种本地不一致性并不敏感，而其主要影响 FedInit 中的泛化误差界。我们进行了大量实验来验证该结论。所提 FedInit 在无需任何额外成本的情况下，相较于若干先进基准可取得最先进（SOTA）结果。同时，分阶段松弛初始化也可融入当前先进算法中，以在 FL 范式下实现更高性能。
引用
@article{arxiv.2306.05706,
title = {Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization},
author = {Yan Sun and Li Shen and Dacheng Tao},
journal= {arXiv preprint arXiv:2306.05706},
year = {2023}
}
备注
32 pages