FedNL：使牛顿型方法适用于联邦学习
机器学习
2022-05-24 v2 分布式、并行与集群计算
最优化与控制
摘要
受 Islamov 等人 (2021) 近期工作的启发，我们提出了一系列联邦牛顿学习（FedNL）方法，我们认为这是在使二阶方法适用于联邦学习（FL）方向上迈出的重要一步。与上述工作不同，FedNL 采用了一种不同的 Hessian 学习方法，其 i) 增强了隐私性，因为它不依赖于将训练数据暴露给协调服务器；ii) 使其可应用于广义线性模型之外；iii) 可证明地适用于压缩局部 Hessian 的通用压缩算子，例如 Top- 或 Rank-，这些算子在实践上远优于其他。值得注意的是，我们的方法在使用压缩算子时无需依赖误差反馈。此外，我们开发了 FedNL-PP、FedNL-CR 和 FedNL-LS，它们是 FedNL 的变体，分别支持部分参与，以及通过三次正则化和线搜索实现全局化，还有 FedNL-BC，这是一种可进一步受益于梯度和模型的双向压缩（即智能上行梯度压缩和智能下行模型压缩）的变体。我们证明了与条件数、训练数据点数量和压缩方差无关的局部收敛速率。我们通信高效的 Hessian 学习方法可证明地学习到最优处的 Hessian。最后，我们进行了多种数值实验，表明与关键基线相比，我们的 FedNL 方法具有最先进的通信复杂度。
引用
@article{arxiv.2106.02969,
title = {FedNL: Making Newton-Type Methods Applicable to Federated Learning},
author = {Mher Safaryan and Rustem Islamov and Xun Qian and Peter Richtárik},
journal= {arXiv preprint arXiv:2106.02969},
year = {2022}
}
备注
65 pages, 7 algorithms, 14 figures --- Accepted to ICML 2022