BLK-REW：基于重加权正则化方法的统一块级DNN剪枝框架
机器学习
2020-02-25 v2 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
在各种资源受限的计算平台上加速 DNN 执行是一个长期存在的问题。已有工作利用基于 l1 的群 lasso 或 ADMM 等动态正则化对 DNN 模型进行结构化剪枝，以利用并行计算架构。然而，其剪枝维度与剪枝方法均缺乏通用性，导致性能下降且适用性有限。为解决该问题，我们提出一种新的基于块的剪枝框架，其包含通用且灵活的结构化剪枝维度，以及强大高效的重加权正则化方法。我们的框架具有通用性，可应用于 CNN 与 RNN，意味着对两类主要计算密集型层（即 CONV 与 FC 层）的完全支持。为完整实现加速向的剪枝任务，我们还将基于编译器的代码优化集成入框架，可实时执行 DNN 推理。据我们所知，这是权重剪枝框架首次实现对 CNN 与 RNN 的通用覆盖，并具备实时移动端加速且无精度损失。
引用
@article{arxiv.2001.08357,
title = {BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method},
author = {Xiaolong Ma and Zhengang Li and Yifan Gong and Tianyun Zhang and Wei Niu and Zheng Zhan and Pu Zhao and Jian Tang and Xue Lin and Bin Ren and Yanzhi Wang},
journal= {arXiv preprint arXiv:2001.08357},
year = {2020}
}