论述联邦学习中个性化松弛初始化：一致性与泛化
机器学习
2026-04-15 v1
摘要
联邦学习 (FL) 是一种分布式范式，通过在异构数据集上的分阶段本地训练过程协调大量本地客户端以共同训练全局模型。以往的研究隐含地表明，FL 受到“client-drift”问题的影响，这一问题源于本地客户端之间的最优解不一致。然而，迄今为止仍缺乏对这一本地不一致性影响的扎实理论分析以加以解释。为缓解“client drift”的负面影响并探讨其本质，本文首先提出一种高效 FL 算法 FedInit，允许在每个本地训练阶段的开始采用个性化松弛初始化状态。具体而言，FedInit 通过朝着最新本地状态的反向方向移动来初始化本地状态，以当前全局状态为中心。此外，为进一步理解不一致性如何干扰 FL 中的性能，我们引入剩余风险分析并研究发散项以检验测试误差。我们的研究表明，优化误差对这种本地不一致性不够敏感，而主要影响泛化误差界。进行大量实验以验证其效率。我们提出的 FedInit 方法无需额外训练或通信成本即可实现与多个先进基准相当的结果。同时，分阶段个性化松弛初始化也可整合到当前多个先进算法中，以在 FL 范式中实现更高的泛化性能。
关键词
引用
@article{arxiv.2604.12768,
title = {Rethinking the Personalized Relaxed Initialization in the Federated Learning: Consistency and Generalization},
author = {Li Shen and Yan Sun and Dacheng Tao},
journal= {arXiv preprint arXiv:2604.12768},
year = {2026}
}
备注
arXiv admin note: substantial text overlap with arXiv:2306.05706