PQK:通过剪枝、量化和知识蒸馏的模型压缩方法
机器学习
2021-06-29 v1
摘要
随着边缘设备的普及,在边缘设备上部署深度神经网络(DNN)已成为一个关键问题。然而,DNN需要较高的计算资源,而边缘设备很少具备此类资源。为此,我们提出了一种面向计算资源受限设备的新型模型压缩方法,称为PQK,它由剪枝、量化和知识蒸馏(KD)过程组成。与传统剪枝和KD不同,PQK利用剪枝过程中被剪掉的不重要权重来构建教师网络,以训练更好的学生网络,而无需预训练教师模型。PQK分为两个阶段。阶段1利用迭代剪枝和量化感知训练来构建轻量且节能的模型。在阶段2中,我们将阶段1中未使用的不重要权重加回到剪枝后的网络以构建教师网络。使用该教师网络,我们将剪枝后的网络作为学生网络进行训练。这样一来,由于教师网络和学生网络共存于同一网络中,我们无需为KD框架预训练教师网络。我们将该方法应用于识别模型,并在关键词 spotting (KWS)和图像识别上验证了PQK的有效性。
引用
@article{arxiv.2106.14681,
title = {PQK: Model Compression via Pruning, Quantization, and Knowledge Distillation},
author = {Jangho Kim and Simyung Chang and Nojun Kwak},
journal= {arXiv preprint arXiv:2106.14681},
year = {2021}
}
备注
Proceedings of INTERSPEECH 2021