使用删截重球下降的通信高效联邦学习
机器学习
2022-09-27 v1 人工智能
摘要
分布式机器学习实现了可扩展性与计算卸载，但需要大量的通信。因此，在分布式学习场景中的通信效率是一个重要考量，尤其在通信为无线且使用电池供电设备时。本文中，我们为服务器-工作节点架构下的分布式学习开发了一种基于删截的重球 (CHB) 方法。每个工作节点自行删截，除非其本地梯度与此前传输的梯度足够不同。重球方法对于学习问题的显著实际优势已为人所知，但减少通信的问题尚未被解决。CHB 利用 HB 平滑来消除对小变化的报告，并可证明达到与经典 HB 方法对光滑强凸目标函数相同的线性收敛速率。CHB 的收敛保证在凸与非凸情形下均得到理论证明。此外我们证明，在某些条件下，至少可消除一半通信而不影响收敛速率。大量数值结果在合成与真实数据集上验证了 CHB 在凸、非凸及不可微情形下的通信效率。给定目标精度，与现有算法相比，CHB 能显著减少通信次数，在不拖慢优化过程的情况下达到相同精度。
引用
@article{arxiv.2209.11944,
title = {Communication-Efficient {Federated} Learning Using Censored Heavy Ball Descent},
author = {Yicheng Chen and Rick S. Blum and Brian M. Sadler},
journal= {arXiv preprint arXiv:2209.11944},
year = {2022}
}