UVeQFed：面向联邦学习的通用矢量量化
机器学习
2021-02-24 v3 信息论
math.IT
机器学习
摘要
传统深度学习模型在中心服务器上使用从终端设备 or 用户处收集的带标签数据样本进行训练。此类数据样本常包含用户可能不愿分享的隐私信息。联邦学习（FL）是一种新兴方法，可在不要求用户分享其可能私有的带标签数据的情况下训练此类学习模型。在 FL 中，每个用户在本地训练其模型副本。服务器随后收集各用户的更新并聚合成全局模型。该方法面临的一大挑战是，每个用户需通过吞吐量受限的上行信道高效传输其训练好的模型。本工作中，我们利用量化理论工具应对此挑战。具体而言，我们识别出在速率受限信道上传送训练模型所伴随的独特特征，并针对此类设定提出一种适宜的量化方案，称为面向联邦学习的通用矢量量化（UVeQFed）。我们表明，将通用矢量量化方法与 FL 结合可得到一个去中心化训练系统，其中训练模型的压缩仅引入最小失真。随后我们从理论上分析该失真，证明其随用户数量增长而消失。我们还刻画了采用传统联邦平均方法与 UVeQFed 训练的模型向最小化损失函数之模型的收敛性。数值结果展示了 UVeQFed 相较于既有方法在量化引入失真与所得聚合模型精度两方面的增益。
引用
@article{arxiv.2006.03262,
title = {UVeQFed: Universal Vector Quantization for Federated Learning},
author = {Nir Shlezinger and Mingzhe Chen and Yonina C. Eldar and H. Vincent Poor and Shuguang Cui},
journal= {arXiv preprint arXiv:2006.03262},
year = {2021}
}