基于动态采样的深度分层量化压缩算法
机器学习
2023-01-02 v1 信息检索
摘要
与传统分布式机器学习不同，联邦学习将数据保存在本地进行训练，随后在服务器上聚合模型，解决了传统分布式机器学习中可能出现的数据安全问题。然而，在训练过程中，模型参数的传输会给网络带宽带来显著负载。已有指出，在模型参数传输过程中绝大多数模型参数是冗余的。本文在此基础上探究所选取部分模型参数的数据分布规律，提出一种深度分层量化压缩算法，通过对模型参数的分层量化进一步压缩模型并减少数据传输带来的网络负载。并且我们采用动态采样策略选择客户端以加速模型收敛。在不同公开数据集上的实验结果证明了算法的有效性。
引用
@article{arxiv.2212.14760,
title = {Deep Hierarchy Quantization Compression algorithm based on Dynamic Sampling},
author = {Wan Jiang and Gang Liu and Xiaofeng Chen and Yipeng Zhou},
journal= {arXiv preprint arXiv:2212.14760},
year = {2023}
}