网络自适应联邦学习：拥塞与有损压缩
机器学习
2023-01-12 v1 网络与互联网体系结构
概率论
机器学习
摘要
为实现跨分布式数据的隐私与学习的双重目标，联邦学习（FL）系统依赖一组客户端与服务器之间频繁交换大文件（模型更新）。因此，FL系统暴露于此，或更确切地说，造成了跨广泛网络资源的拥塞。有损压缩可用于减小交换文件的大小及相关延迟，代价是给模型更新增加噪声。通过明智地使客户端的压缩适应变化的网络拥塞，FL应用可减少挂钟训练时间。为此，我们提出一种网络自适应压缩（NAC-FL）策略，其根据网络拥塞变化动态改变客户端的有损压缩选择。我们在适当假设下证明，NAC-FL在直接最小化期望挂钟训练时间方面是渐近最优的。此外，我们通过仿真表明，NAC-FL在时间上延迟正相关的设置中以更高增益实现了鲁棒的性能提升。
引用
@article{arxiv.2301.04430,
title = {Network Adaptive Federated Learning: Congestion and Lossy Compression},
author = {Parikshit Hegde and Gustavo de Veciana and Aryan Mokhtari},
journal= {arXiv preprint arXiv:2301.04430},
year = {2023}
}