A-FedPD：对齐双重漂移是联邦原始-对偶学习所需的一切
机器学习
2025-01-22 v2
摘要
作为平衡数据隐私与协同训练的流行范式，联邦学习 (FL) 正在蓬勃发展，以分布式处理边缘客户端上的大规模异构数据集。由于带宽限制和安全考虑，它巧妙地将原始问题拆分为多个可并行求解的子问题，这赋予了原始-对偶解在 FL 中巨大的应用价值。本文回顾了经典联邦原始-对偶方法的最新发展，并指出了此类方法在非凸场景中的一个严重共同缺陷，即部分参与训练下长期不活跃客户端的对偶滞后所导致的“对偶漂移”。为了进一步解决这一问题，我们提出了一种新颖的对齐联邦原始-对偶 (A-FedPD) 方法，为那些长期未参与的本地客户端构建虚拟对偶更新，以对齐全局共识与本地对偶变量。同时，我们对 A-FedPD 方法在光滑非凸目标上的优化与泛化效率进行了全面分析，证实了其高效性与实用性。在多个经典 FL 设置上进行了大量实验，验证了我们所提方法的有效性。
引用
@article{arxiv.2409.18915,
title = {A-FedPD: Aligning Dual-Drift is All Federated Primal-Dual Learning Needs},
author = {Yan Sun and Li Shen and Dacheng Tao},
journal= {arXiv preprint arXiv:2409.18915},
year = {2025}
}