生成式低比特位无数据量化
计算机视觉与模式识别
2020-08-11 v3
摘要
神经网络量化是压缩深度模型并改善其执行延迟与能效的有效途径，从而可将其部署于移动或嵌入式设备。现有量化方法需要原始数据进行校准或微调以获得更好性能。然而，在许多真实场景中，由于保密或隐私问题数据可能不可用，从而使得现有量化方法无法适用。此外，由于原始数据的缺失，近期发展的生成对抗网络（GANs）也无法用于生成数据。尽管全精度模型可能包含丰富的数据信息，但仅凭此类信息难以用于恢复原始数据或生成新的有意义数据。本文中，我们研究了一种简单而有效的方法，称为生成式低比特位无数据量化（GDFQ），以消除数据依赖负担。具体而言，我们提出了一种知识匹配生成器，通过利用预训练模型中的分类边界知识与分布信息来生成有意义的伪数据。在生成数据的帮助下，我们可以通过从预训练模型中学习知识来量化模型。在三个数据集上的大量实验证明了我们方法的有效性。更关键的是，我们的方法在 4-bit 量化上取得了比现有无数据量化方法高得多的精度。代码见 https://github.com/xushoukai/GDFQ。
引用
@article{arxiv.2003.03603,
title = {Generative Low-bitwidth Data Free Quantization},
author = {Shoukai Xu and Haokun Li and Bohan Zhuang and Jing Liu and Jiezhang Cao and Chuangrun Liang and Mingkui Tan},
journal= {arXiv preprint arXiv:2003.03603},
year = {2020}
}
备注
eccv2020 code is available at: https://github.com/xushoukai/GDFQ