带拉普拉斯正则化的联邦多任务学习的新视角与收敛速率
机器学习
2022-10-12 v5 分布式、并行与集群计算
摘要
客户端间非独立同分布 (non-IID) 数据分布被视为降低联邦学习 (FL) 性能的关键因素。若干处理 non-IID 数据的方法，如个性化 FL 和联邦多任务学习 (FMTL)，备受研究界关注。本工作中，首先，我们利用拉普拉斯正则化表述 FMTL 问题，以显式利用客户端模型间的关系进行多任务学习。随后，我们引入 FMTL 问题的新视角，首次表明所表述的 FMTL 问题可用于常规 FL 与个性化 FL。我们还提出两种算法 FedU 和 dFedU，分别在通信集中式与去中心化模式下求解所表述的 FMTL 问题。理论上，我们证明两种算法的收敛速率在强凸目标下实现线性加速，在非凸目标下实现阶数为 1/2 的次线性加速。实验上，我们表明我们的算法在 FL 设定下优于 FedAvg、FedProx、SCAFFOLD 和 AFL，在 FMTL 设定下优于 MOCHA，以及在个性化 FL 设定下优于 pFedMe 和 Per-FedAvg。
引用
@article{arxiv.2102.07148,
title = {A New Look and Convergence Rate of Federated Multi-Task Learning with Laplacian Regularization},
author = {Canh T. Dinh and Tung T. Vu and Nguyen H. Tran and Minh N. Dao and Hongyu Zhang},
journal= {arXiv preprint arXiv:2102.07148},
year = {2022}
}