超越 ADMM：一种统一的客户端方差缩减自适应联邦学习框架
机器学习
2023-01-19 v3
摘要
作为一种新颖的分布式学习范式，联邦学习（FL）在处理具有异构数据分布以及计算和通信资源的大量客户端时面临严峻挑战。人们分别引入了各种客户端方差缩减方案和客户端采样策略以提高 FL 的鲁棒性。其中，诸如乘子交替方向法（ADMM）等原始对偶算法被发现对数据分布具有弹性，并优于大多数仅原始端的 FL 算法。然而，其背后的原因仍是一个谜。在本文中，我们首先揭示了联邦 ADMM 本质上是一种客户端方差缩减算法这一事实。虽然这解释了联邦 ADMM 固有的鲁棒性，但其原始版本缺乏自适应客户端异构程度的能力。此外，在客户端采样下服务器处的全局模型是有偏的，这减慢了实际收敛速度。为超越 ADMM，我们提出了一种新颖的原始对偶 FL 算法，称为 FedVRA，它允许人们自适应地控制方差缩减水平和全局模型的偏置。此外，FedVRA 统一了几种代表性的 FL 算法，因为它们要么是 FedVRA 的特殊实例，要么与之接近。还给出了 FedVRA 到半监督/无监督学习的扩展。基于（半）监督图像分类任务的实验证明了 FedVRA 在具有大量异构客户端和客户端采样的场景下的优越性。
引用
@article{arxiv.2212.01519,
title = {Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework},
author = {Shuai Wang and Yanqing Xu and Zhiguo Wang and Tsung-Hui Chang and Tony Q. S. Quek and Defeng Sun},
journal= {arXiv preprint arXiv:2212.01519},
year = {2023}
}