CosSGD：一种基于简单余弦的非量化通信高效联邦学习
机器学习
2022-05-03 v2 计算机视觉与模式识别
摘要
联邦学习是一种有前景的框架，可缓解数据隐私与计算方面的担忧。然而，服务器与客户端之间的通信成本已成为成功部署的主要瓶颈。尽管梯度压缩取得了显著进展，现有量化方法在应用低位压缩时仍需进一步改进，尤其是当在双向上应用量化以压缩模型权重和梯度时，整体系统常严重退化。在这项工作中，我们提出一种简单的基于余弦的非线性量化，并在压缩往返通信成本方面取得了令人印象深刻的成果。我们不仅能够以比先前方法更高的比率压缩模型权重和梯度，同时还获得了具有竞争力的模型性能。此外，我们的方法非常适用于联邦学习问题，因为它计算复杂度低，且仅需少量额外数据即可恢复被压缩的信息。我们使用CIFAR-10和BraTS数据集在图像分类与脑肿瘤语义分割上进行了大量实验，展示了最先进的效能与令人印象深刻的通信效率。
引用
@article{arxiv.2012.08241,
title = {CosSGD: Communication-Efficient Federated Learning with a Simple Cosine-Based Quantization},
author = {Yang He and Hui-Po Wang and Maximilian Zenk and Mario Fritz},
journal= {arXiv preprint arXiv:2012.08241},
year = {2022}
}
备注
1st NeurIPS Workshop on New Frontiers in Federated Learning (NFFL 2021)