异步私有联邦学习中的动量近似
机器学习
2024-12-10 v2
摘要
异步协议已被证明可以提高拥有大量客户端的联邦学习（FL）的可扩展性。同时，基于动量的方法可以在同步FL中实现最佳模型质量。然而，在异步FL算法中直接应用动量会导致收敛速度变慢和模型性能下降。如何有效结合这两种技术以实现双赢仍不清楚。在本文中，我们发现异步性给动量更新引入了隐式偏差。为了解决这个问题，我们提出了动量近似，通过找到所有历史模型更新的最优加权平均来最小化偏差。动量近似与安全聚合以及差分隐私兼容，并且可以以较小的通信和存储成本轻松集成到生产FL系统中。我们通过实验证明，在基准FL数据集上，与将异步FL与动量简单结合相比，动量近似可以实现1.15至4倍的收敛加速。
引用
@article{arxiv.2402.09247,
title = {Momentum Approximation in Asynchronous Private Federated Learning},
author = {Tao Yu and Congzheng Song and Jianyu Wang and Mona Chitnis},
journal= {arXiv preprint arXiv:2402.09247},
year = {2024}
}