联邦函数梯度提升
机器学习
2021-03-15 v1 分布式、并行与集群计算
最优化与控制
摘要
在本文中，我们开启了对联邦学习（Federated Learning）中函数极小化的研究。首先，在半异构设定下，即当客户端机器上特征向量的边际分布相同时，我们提出了联邦函数梯度提升（FFGB）方法，该方法可证明收敛到全局最小值。随后，我们通过设计一种称为 FFGB.C 的 FFGB 高效变体，将结果推广到完全异构设定（其中特征向量的边际分布可能不同），可证明收敛到全局最小值的一个邻域，其半径取决于客户端特征分布之间的总变差距离。对于平方损失的特殊情况，但仍处于完全异构设定下，我们设计了 FFGB.L 方法，同样具有可证明的收敛到全局最小值邻域的性质，但其半径取决于更紧的 Wasserstein-1 距离。对于 FFGB.C 和 FFGB.L，当特征分布变得更加同质时，收敛半径收缩至零。最后，我们进行了概念验证实验，以展示我们的方法相对于自然基线的优势。
引用
@article{arxiv.2103.06972,
title = {Federated Functional Gradient Boosting},
author = {Zebang Shen and Hamed Hassani and Satyen Kale and Amin Karbasi},
journal= {arXiv preprint arXiv:2103.06972},
year = {2021}
}