面向实时移动加速的最佳适用 DNN 剪枝方案自动映射
机器学习
2022-03-29 v1 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
权重剪枝是一种有效的模型压缩技术，用于应对在移动设备上实现实时深度神经网络（DNN）推理的挑战。然而，先前的剪枝方案由于精度下降、难以利用硬件加速和/或对某些类型 DNN 层的限制而应用场景有限。在本文中，我们提出了一种通用的细粒度结构化剪枝方案及相应的编译器优化，其适用于任意类型的 DNN 层，同时实现高精度和硬件推理性能。借助我们的编译器优化所支持的将不同剪枝方案应用于不同层的灵活性，我们进一步探究了在考虑各种剪枝方案不同加速与精度性能的情况下确定最佳适用剪枝方案这一新问题。提出了两种剪枝方案映射方法，一种基于搜索，另一种基于规则，用于自动推导任意给定 DNN 每一层的最佳适用剪枝规则性与块大小。实验结果表明，我们的剪枝方案映射方法与通用细粒度结构化剪枝方案相结合，在 CIFAR-10 和 ImageNet 数据集上分别以高达 2.48 和 1.73 的 DNN 推理加速优于最先进的 DNN 优化框架，且精度无损。
引用
@article{arxiv.2111.11581,
title = {Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration},
author = {Yifan Gong and Geng Yuan and Zheng Zhan and Wei Niu and Zhengang Li and Pu Zhao and Yuxuan Cai and Sijia Liu and Bin Ren and Xue Lin and Xulong Tang and Yanzhi Wang},
journal= {arXiv preprint arXiv:2111.11581},
year = {2022}
}