FedDR——用于非凸联邦复合优化的随机 Douglas-Rachford 分裂算法
机器学习
2021-10-29 v3 分布式、并行与集群计算
机器学习
摘要
我们开发了两种新算法，称为 FedDR 与 asyncFedDR，用于求解联邦学习中一个基础性的非凸复合优化问题。我们的算法依赖于非凸 Douglas-Rachford 分裂方法、随机块坐标策略与异步实现的新颖结合，也可处理凸正则项。与文献中近期方法（如 FedSplit 与 FedPD）不同，我们的算法在每轮通信中仅更新部分用户，且可能以异步方式进行，因而更具实用性。这些新算法可应对统计与系统异构性——联邦学习的两大主要挑战——同时达到已知最优的通信复杂度。事实上，在标准假设下，我们的新算法将通信复杂度下界匹配至常数因子以内。我们的数值实验在合成与真实数据集上展示了新方法相较现有算法的优势。
引用
@article{arxiv.2103.03452,
title = {FedDR -- Randomized Douglas-Rachford Splitting Algorithms for Nonconvex Federated Composite Optimization},
author = {Quoc Tran-Dinh and Nhan H. Pham and Dzung T. Phan and Lam M. Nguyen},
journal= {arXiv preprint arXiv:2103.03452},
year = {2021}
}
备注
39 pages, and 12 figures