基于三算子ADMM的联邦学习

联邦学习(FL)已成为分布式机器学习范式的一个实例，它避免了传输用户端生成的数据。尽管数据不被传输，边缘设备不得不应对有限的通信带宽、数据异构性，以及由于用户设备计算资源有限导致的掉队者效应。克服此类困难的一种突出方法是FedADMM，它基于经典的双算子共识交替方向乘子法(ADMM)。包括FedADMM在内的FL算法的常见假设是，它们仅利用用户侧而非边缘服务器上的数据来学习全局模型。然而，在边缘学习中，服务器预期靠近基站并可直接访问丰富的数据集。在本文中，我们认为利用边缘服务器上的丰富数据比仅使用用户数据集更有利。具体而言，我们表明，将FL与代表边缘服务器数据的额外虚拟用户节点简单结合是低效的。我们提出FedTOP-ADMM，它推广了FedADMM，并基于一种三算子ADMM型技术，该技术利用边缘服务器上的平滑代价函数，与边缘设备并行学习全局模型。我们的数值实验表明，相较于FedADMM（包括在边缘服务器上的虚拟用户），FedTOP-ADMM在达到期望测试精度方面通信效率提升高达33%。