TACO: 通过定制自适应校正解决联邦学习中的过度校正问题
机器学习
2025-04-25 v1 人工智能
摘要
边缘客户端间非独立同分布（Non-IID）的数据长期以来对边缘计算环境中的联邦学习（FL）训练构成了重大挑战。先前的工作提出了多种方法来缓解这种统计异构性。虽然这些工作能取得良好的理论性能，但在本文中，我们首次研究了现有方法采用的跨客户端统一模型校正系数所带来的一种隐藏的过度校正现象。这种过度校正可能会降低模型性能，甚至导致模型收敛失败。为了解决这个问题，我们提出了 TACO，这是一种新颖的算法，通过实施细粒度的、特定于客户端的梯度校正和模型聚合来解决客户端数据的 Non-IID 特性，引导局部模型趋向更准确的全局最优。此外，我们验证了领先的 FL 算法在通信轮数方面通常具有更好的模型准确率，而不是在墙上时间方面，这是由于其给客户端施加了额外计算开销。为了提高训练效率，TACO 部署了一种轻量级的模型校正和定制聚合方法，该方法仅需最低限度的计算开销，且不需要同步模型参数之外的任何额外信息。为了验证 TACO 的有效性，我们提出了首个揭示过度校正根本原因的 FL 收敛分析。在各种数据集上的大量实验证实了 TACO 在实践中优越且稳定的性能。
引用
@article{arxiv.2504.17528,
title = {TACO: Tackling Over-correction in Federated Learning with Tailored Adaptive Correction},
author = {Weijie Liu and Ziwei Zhan and Carlee Joe-Wong and Edith Ngai and Jingpu Duan and Deke Guo and Xu Chen and Xiaoxi Zhang},
journal= {arXiv preprint arXiv:2504.17528},
year = {2025}
}
备注
11 pages, 7 figures, accepted by ICDCS 2025