基于对抗知识蒸馏的无数据网络量化
计算机视觉与模式识别
2020-05-11 v1 机器学习
神经与进化计算
摘要
网络量化是深度学习中用于在移动或边缘平台上开发高效定点推理模型的关键步骤。然而，随着数据集规模的增大和隐私法规的趋严，用于模型压缩的数据共享变得更加困难且受限。在本文中，我们考虑使用合成数据的无数据网络量化。合成数据由生成器生成，而在训练生成器和量化过程中不使用任何数据。为此，我们提出了无数据对抗知识蒸馏，该方法最小化教师模型与（量化）学生模型对于来自生成器的任意对抗样本的输出的最大距离。为了生成类似于原始数据的对抗样本，我们还提出匹配生成数据与教师模型中原始数据在 Batch Normalization 层的统计信息。此外，我们展示了通过使用多个生成器和多个学生模型来产生多样化对抗样本所带来的增益。我们的实验展示了在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上，针对（宽）残差网络和 MobileNet 的 SOTA 无数据模型压缩与量化结果。结果表明，与使用原始数据集相比，准确率损失非常小。
引用
@article{arxiv.2005.04136,
title = {Data-Free Network Quantization With Adversarial Knowledge Distillation},
author = {Yoojin Choi and Jihwan Choi and Mostafa El-Khamy and Jungwon Lee},
journal= {arXiv preprint arXiv:2005.04136},
year = {2020}
}
备注
CVPR 2020 Joint Workshop on Efficient Deep Learning in Computer Vision (EDLCV)