面向通信高效联邦学习的三值压缩
机器学习
2022-10-11 v2 分布式、并行与集群计算
机器学习
摘要
在众多现实应用中，对存储于不同位置的海量数据进行学习至关重要。然而，随着智能移动设备和物联网设备使用的日益增长，隐私与安全需求不断提升，数据共享充满挑战。联邦学习通过联合训练全局模型而不将分布于多设备上的数据上传至中心服务器，为隐私保护与安全的机器学习提供了一种潜在解决方案。然而，现有大多数联邦学习工作采用全精度权重的机器学习模型，且几乎所有这些模型都包含大量冗余参数，无需传输至服务器，却消耗了过量的通信成本。为解决此问题，我们提出联邦训练三值量化（FTTQ）算法，通过自学习量化因子在客户端优化量化网络。给出了量化因子收敛性、FTTQ无偏性以及权重散度减小的理论证明。基于FTTQ，我们提出三值联邦平均协议（T-FedAvg）以降低联邦学习系统的上行与下行通信。我们开展了实证实验，在公开可用数据集上训练广泛使用的深度学习模型，结果表明所提出的T-FedAvg能有效降低通信成本，甚至在非独立同分布（non-IID）数据上相较标准联邦学习算法取得略优的性能。
引用
@article{arxiv.2003.03564,
title = {Ternary Compression for Communication-Efficient Federated Learning},
author = {Jinjin Xu and Wenli Du and Ran Cheng and Wangli He and Yaochu Jin},
journal= {arXiv preprint arXiv:2003.03564},
year = {2022}
}