用于去中心化联邦学习的函数空间ADMM:控制理论视角
摘要
去中心化联邦学习(FL)是一种在无中央服务器的传感器网络、物联网设备和其它边缘系统上训练机器学习模型的有前景的方法。尽管联邦学习具有保护数据隐私等优势,但它通常受到设备间非独立同分布数据的影响,从而导致显著的性能下降。当直接优化模型参数时,这一问题尤为严重,因为神经网络训练本质上是非凸的,且凸优化的标准收敛保证不再适用。与主要在参数空间中运行的现有去中心化FL方法不同,我们提出了联邦函数空间交替方向乘子法。FedF-ADMM利用函数空间内损失泛函的凸性来推导基于交替方向乘子法(ADMM)的更新方向,随后通过知识蒸馏将其投影到参数空间。我们进一步引入了一个稳定化系数,以增强在严重非独立同分布设置下的鲁棒性,并通过将其解释为比例-积分(PI)项,从控制理论的角度分析了其行为。在具有挑战性的非独立同分布场景(包括每个设备仅拥有单一标签数据的设置)下的实验表明,FedF-ADMM比现有的去中心化FL方法实现了更快、更稳定的收敛,同时获得了更高的准确率和更好的设备间共识。
引用
@article{arxiv.2605.09356,
title = {Function-Space ADMM for Decentralized Federated Learning: A Control Theoretic Perspective},
author = {Akihito Taya and Yuuki Nishiyama and Kaoru Sezaki},
journal= {arXiv preprint arXiv:2605.09356},
year = {2026}
}
备注
(c) 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works