异构联邦学习中通过带通信压缩的分布式SGD逃离鞍点
机器学习
2023-10-31 v1 分布式、并行与集群计算
最优化与控制
摘要
我们考虑异构联邦学习（FL）中寻找二阶平稳点的问题。FL的先前工作大多关注一阶收敛保证，这无法排除不稳定鞍点的情形。同时，FL的一个关键瓶颈是在不牺牲学习精度的前提下实现通信效率，尤其当不同客户端的本地数据高度异构时。鉴于此，我们提出了一种新颖算法Power-EF，其仅通过一种新颖的误差反馈方案来通信压缩信息。据我们所知，Power-EF是首个在无需任何数据同质性假设的情况下，可证明在异构FL中逃离鞍点的分布式压缩SGD算法。具体而言，Power-EF在访问一阶（可能为鞍点）点后改进至二阶平稳点，所使用的额外梯度查询与通信轮次仅与一阶收敛所需量级几乎相同，且收敛速率在worker数量上呈现线性加速。我们的理论改进/恢复了先前结果，同时扩展至对本地数据更宽容的设置。我们提供了数值实验以补充理论。
引用
@article{arxiv.2310.19059,
title = {Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression},
author = {Sijin Chen and Zhize Li and Yuejie Chi},
journal= {arXiv preprint arXiv:2310.19059},
year = {2023}
}
备注
27 pages