FedPara：用于通信高效联邦学习的低秩 Hadamard 积
机器学习
2023-01-20 v3 计算机视觉与模式识别
摘要
本文提出一种用于联邦学习(FL)的通信高效参数化方法 FedPara，以克服频繁模型上传与下载带来的负担。我们的方法使用低秩权重继以 Hadamard 积对层的权重参数进行重参数化。相比传统的低秩参数化，我们的 FedPara 方法不受低秩约束限制，因而具有大得多的容量。该性质使其能在仅需原始层模型 3 至 10 倍更低通信成本下取得可比性能，这是传统低秩方法无法实现的。我们的方法效率还可通过与其他高效 FL 优化器结合而进一步提升。此外，我们将方法扩展至个性化 FL 应用 pFedPara，其将参数分离为全局与局部参数。我们表明 pFedPara 以多于三倍更少的参数优于竞争的个性化 FL 方法。
关键词
引用
@article{arxiv.2108.06098,
title = {FedPara: Low-Rank Hadamard Product for Communication-Efficient Federated Learning},
author = {Nam Hyeon-Woo and Moon Ye-Bin and Tae-Hyun Oh},
journal= {arXiv preprint arXiv:2108.06098},
year = {2023}
}
备注
Accepted at ICLR 2022