用于深度网络压缩的聚类正则化量化
计算机视觉与模式识别
2019-05-14 v1
摘要
深度神经网络 (DNNs) 在广泛的计算机视觉领域取得了巨大成功，但由于其高存储和计算成本，在移动设备上的应用受到限制。许多工作致力于压缩 DNNs。在本文中，我们提出了一种简单而有效的深度网络压缩方法，称为聚类正则化量化 (CRQ)，它可以将全精度模型的表示精度降低到三值而不显著降低准确率。特别地，所提方法旨在通过引入聚类正则化项来减少量化误差，该项施加于全精度权重上以使其自然地集中在目标值附近。通过在重训练阶段显式地正则化权重，全精度模型可以实现到低位模型的平滑过渡。在基准数据集上的综合实验证明了所提方法的有效性。
引用
@article{arxiv.1902.10370,
title = {Cluster Regularized Quantization for Deep Networks Compression},
author = {Yiming Hu and Jianquan Li and Xianlei Long and Shenhua Hu and Jiagang Zhu and Xingang Wang and Qingyi Gu},
journal= {arXiv preprint arXiv:1902.10370},
year = {2019}
}
备注
4 pages, 1 figure