联邦优化为何难以实现完美拟合？——基于客户端局部最优点的理论视角
机器学习
2025-11-04 v1 人工智能
机器学习
摘要
联邦优化是一种受限的分布式优化方法，能够在不直接共享客户端数据的情况下训练全局模型。虽然现有算法在理论上可以保证收敛，实际中通常能够实现稳定的训练，但在数据异构性导致的性能下降原因仍不明确。为此，本文的主要贡献是提供一个理论视角，解释这种下降为何发生。我们引入一种假设，即异构的客户端数据导致不同的局部最优点，并展示该假设的两个关键后果：1）客户端局部最优点之间的距离提高了全局目标函数的下界，使得无法完美拟合所有客户端的数据；2）在最终训练阶段，全局模型将在某个区域内振荡，而非收敛到单个最优点，从而限制了其完全拟合数据的能力。这些结果为非独立同分布（IID）设置下的性能下降提供了原则性解释，并通过多个任务和神经网络架构的实验进行了验证。本文使用的框架已开源于：https://github.com/NPCLEI/fedtorch。
引用
@article{arxiv.2511.00469,
title = {Why Federated Optimization Fails to Achieve Perfect Fitting? A Theoretical Perspective on Client-Side Optima},
author = {Zhongxiang Lei and Qi Yang and Ping Qiu and Gang Zhang and Yuanchi Ma and Jinyan Liu},
journal= {arXiv preprint arXiv:2511.00469},
year = {2025}
}