CPrune：面向高效目标感知 DNN 执行的编译器指导模型剪枝
机器学习
2022-07-22 v2
摘要
移动设备运行深度学习模型以用于各种目的，如图像分类与语音识别。由于移动设备的资源限制，研究者或聚焦于利用模型剪枝制作轻量深度神经网络（DNN）模型，或聚焦于利用编译器优化生成高效代码。令人惊讶的是，我们发现模型压缩与编译器自动调优的直接结合往往不能为目标设备产生最高效的模型。我们提出 CPrune，一种面向高效目标感知 DNN 执行的编译器指导模型剪枝，以在所需目标精度下支撑应用。CPrune 通过基于编译器调优过程中所构建子图结构信息的指导剪枝，制作轻量 DNN 模型。实验结果表明，在满足精度要求的同时，相较最先进的 TVM 自动调优，CPrune 将 DNN 执行速度最高提升 2.73 倍。
引用
@article{arxiv.2207.01260,
title = {CPrune: Compiler-Informed Model Pruning for Efficient Target-Aware DNN Execution},
author = {Taeho Kim and Yongin Kwon and Jemin Lee and Taeho Kim and Sangtae Ha},
journal= {arXiv preprint arXiv:2207.01260},
year = {2022}
}
备注
18 pages, 9 figures, accepted to ECCV 2022