FedPM：基于预条件化参数混合的联邦学习二阶优化方法
机器学习
2025-11-13 v1 分布式、并行与集群计算
摘要
我们提出了联邦预条件化混合 (FedPM)，一种新的联邦学习 (FL) 方法，利用二阶优化。先前的方法——如 LocalNewton、LTDA 和 FedSophia——在客户端上进行迭代式局部更新，并在服务器上应用简单的参数混合以纳入二阶优化。但是，这些方法常常会出现局部预条件器的漂移，显著扰乱参数训练的收敛，尤其是在异构数据环境下。为克服这一问题，我们细化了更新规则，将理想的二阶更新（使用全球预条件化全局梯度计算）分解为服务器上的参数混合和客户端上的局部参数更新。因此，FedPM 在服务器上对局部参数进行预条件化混合，从而有效缓解了局部预条件器的漂移。我们提供了理论收敛分析，表明在涉及单个局部更新的场景中，针对强凸目标具有超线性收敛率。为展示 FedPM 的实际效益，我们进行了大量实验。结果表明，与包含简单混合的常规方法相比，FedPM 在测试准确率方面显著提高，充分发挥二阶优化的潜力。
引用
@article{arxiv.2511.09100,
title = {FedPM: Federated Learning Using Second-order Optimization with Preconditioned Mixing of Local Parameters},
author = {Hiro Ishii and Kenta Niwa and Hiroshi Sawada and Akinori Fujino and Noboru Harada and Rio Yokota},
journal= {arXiv preprint arXiv:2511.09100},
year = {2025}
}
备注
18 pages, 7 figures. Accepted for publication in the Proceedings of the AAAI Conference on Artificial Intelligence (AAAI-26)