FLECS-CGD：一种通过压缩与草图及压缩梯度差实现的联邦学习二阶框架
机器学习
2022-10-19 v1 最优化与控制
摘要
在近期论文 FLECS（Agafonov 等，FLECS：一种通过压缩与草图实现的联邦学习二阶框架）中，提出了针对联邦学习问题的二阶框架 FLECS。该方法利用草图 Hessian 的压缩来降低通信成本。然而，FLECS 的主要瓶颈在于未压缩的梯度通信。本文中，我们提出对 FLECS 的改进，采用压缩梯度差，称之为 FLECS-CGD（带压缩梯度差的 FLECS），并使其适用于随机优化。我们给出了强凸与非凸情形下的收敛性保证。实验显示了所提方法的实际益处。
引用
@article{arxiv.2210.09626,
title = {FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences},
author = {Artem Agafonov and Brahim Erraji and Martin Takáč},
journal= {arXiv preprint arXiv:2210.09626},
year = {2022}
}