面向异步联邦学习的正交校准
机器学习
2025-02-27 v1 分布式、并行与集群计算
摘要
异步联邦学习通过整合到达的更新并根据滞后性调整其影响来缓解传统同步聚合的效率问题。由于异步性和数据异构性，全局和局部层面的学习目标本质上是不一致的——全局优化轨迹可能与正在进行的局部更新相冲突。现有的异步方法仅将最新的全局权重分发给客户端，这可能会覆盖局部进度并导致模型漂移。本文提出了一种名为 OrthoFL 的正交校准框架，解耦全局和局部学习进度，并在合并到局部模型之前调整全局位移以最小化干扰。在 OrthoFL 中，客户端和服务器保持独立的模型权重。接收到更新后，服务器通过移动平均将其聚合到全局权重中。对于客户端权重，服务器计算在客户端延迟期间累积的全局权位移，并移除与收到的更新方向一致的分量。 resulting parameters 位于与客户端更新正交的子空间中，并保留来自全局进度的最大信息。随后，将校准后的全局位移合并到客户端权重中进行进一步训练。广泛的实验表明，OrthoFL 在准确率上提高了 9.6%，相较于同步方法实现了 12 倍的加速。此外，它在 various delay patterns和数据异构性情景下始终优于最先进的异步基线方法。
引用
@article{arxiv.2502.15940,
title = {Orthogonal Calibration for Asynchronous Federated Learning},
author = {Jiayun Zhang and Shuheng Li and Haiyu Huang and Xiaofan Yu and Rajesh K. Gupta and Jingbo Shang},
journal= {arXiv preprint arXiv:2502.15940},
year = {2025}
}