用于通信高效联邦学习的时间相关稀疏化
机器学习
2021-01-25 v1 分布式、并行与集群计算
信息论
math.IT
摘要
联邦学习（FL）使多个客户端能够协作训练共享模型而不披露其本地数据集。这是借助参数服务器（PS）交换本地模型更新实现的。然而，由于所训练模型规模日益增长，客户端与 PS 间迭代交换带来的通信负载常成为性能瓶颈。稀疏通信常被用来降低通信负载，即仅将模型更新的小部分从客户端传至 PS。本文中，我们引入一种新颖的时间相关稀疏化（TCS）方案，其基于如下观念：稀疏通信框架可视为识别底层模型的最显著元素。因此，TCS 在 FL 连续迭代所用的稀疏表示间寻求某种相关性，从而在不损害测试精度的前提下显著减少稀疏表示的编码与传输开销。通过在 CIFAR-10 数据集上的广泛仿真，我们表明 TCS 在 100 倍稀疏化下可达到集中式训练精度，且与量化结合时通信负载最多降低 2000 倍。
引用
@article{arxiv.2101.08837,
title = {Time-Correlated Sparsification for Communication-Efficient Federated Learning},
author = {Emre Ozfatura and Kerem Ozfatura and Deniz Gunduz},
journal= {arXiv preprint arXiv:2101.08837},
year = {2021}
}