联邦复合优化
机器学习
2021-06-08 v3 分布式、并行与集群计算
最优化与控制
机器学习
摘要
联邦学习(FL)是一种分布式学习范式，可协作且隐私地扩展设备端学习。诸如FedAvg之类的标准FL算法主要针对平滑无约束设置。在本文中，我们研究联邦复合优化(FCO)问题，其中损失函数包含一个非平滑正则化项。此类问题自然出现在涉及稀疏性、低秩、单调性或更一般约束的FL应用中。我们首先表明，FedAvg等原始算法的直接扩展并不适用于FCO，因为它们遭受“原始平均诅咒”，导致收敛性差。作为解决方案，我们提出一种新的原始-对偶算法——联邦对偶平均(FedDualAvg)，其通过采用一种新颖的服务器对偶平均过程规避了原始平均诅咒。我们的理论分析和实证实验表明，FedDualAvg优于其他基线方法。
引用
@article{arxiv.2011.08474,
title = {Federated Composite Optimization},
author = {Honglin Yuan and Manzil Zaheer and Sashank Reddi},
journal= {arXiv preprint arXiv:2011.08474},
year = {2021}
}
备注
Accepted to ICML 2021. Code repository see https://github.com/hongliny/FCO-ICML21