NPAS：面向超越实时移动加速的编译器感知统一网络剪枝与架构搜索框架
机器学习
2021-06-18 v3 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
随着在移动边缘设备上高效部署 DNN 的需求日益增长，减少不必要的计算并提升执行速度变得愈发重要。此前针对该目标的方法，包括模型压缩和网络架构搜索（NAS），大多独立进行，且未充分考虑编译器级优化——而这对于移动加速是必做的。在本工作中，我们首先提出（i）一类适用于各类 DNN 层的细粒度结构化剪枝，以及（ii）一个支持不同 DNN 与不同剪枝方案的综合编译器自动代码生成框架，从而弥合模型压缩与 NAS 之间的鸿沟。我们进一步提出 NPAS，一种编译器感知的统一网络剪枝与架构搜索方法。为应对庞大搜索空间，我们提出基于强化学习并结合快速评估与贝叶斯优化的元建模流程，确保训练轮总数与代表性 NAS 框架相当。我们的框架在现成手机上分别取得 6.7ms、5.9ms、3.9ms 的 ImageNet 推理时间，对应 Top-1 准确率分别为 78.2%、75%（MobileNet-V3 水平）和 71%（MobileNet-V2 水平），持续优于先前工作。
引用
@article{arxiv.2012.00596,
title = {NPAS: A Compiler-aware Framework of Unified Network Pruning and Architecture Search for Beyond Real-Time Mobile Acceleration},
author = {Zhengang Li and Geng Yuan and Wei Niu and Pu Zhao and Yanyu Li and Yuxuan Cai and Xuan Shen and Zheng Zhan and Zhenglun Kong and Qing Jin and Zhiyu Chen and Sijia Liu and Kaiyuan Yang and Bin Ren and Yanzhi Wang and Xue Lin},
journal= {arXiv preprint arXiv:2012.00596},
year = {2021}
}
备注
Accepted as an oral paper in the Conference on Computer Vision and Pattern Recognition (CVPR), 2021