联邦随机梯度下降产生自诱导动量
机器学习
2022-02-18 v1
摘要
联邦学习（FL）是一种新兴的机器学习方法，可应用于移动边缘系统，其中服务器与大量客户端协作训练统计模型，利用客户端的数据与计算资源而无需直接暴露其隐私敏感数据。我们指出，在此类设置中运行随机梯度下降（SGD）可视为向全局聚合过程添加类动量项。基于该发现，我们进一步通过分析参数陈旧性与通信资源的影响，给出了联邦学习系统的收敛速率。这些结果增进了对联邦SGD算法的理解，并在陈旧性分析与联邦计算系统之间建立了联系，对系统设计师具有参考价值。
引用
@article{arxiv.2202.08402,
title = {Federated Stochastic Gradient Descent Begets Self-Induced Momentum},
author = {Howard H. Yang and Zuozhu Liu and Yaru Fu and Tony Q. S. Quek and H. Vincent Poor},
journal= {arXiv preprint arXiv:2202.08402},
year = {2022}
}