GRIM：基于细粒度结构化权重稀疏性的移动设备通用实时深度学习推理框架
机器学习
2021-08-26 v1 人工智能
摘要
在移动设备上实现实时深度神经网络（DNN）推理极具吸引力但也充满挑战，因为即使是强大的现代移动设备在执行大规模 DNN 时也被视为“资源受限”的。这需要通过权重剪枝（即 DNN 权重稀疏性）来实现稀疏模型推理，并且需要设计一种新的 DNN 权重稀疏方案，该方案能够在保持高稀疏模型精度的同时促进移动设备上的实时推理。本文设计了一个新颖的移动推理加速框架 GRIM，它对卷积神经网络（CNNs）和循环神经网络（RNNs）均具有通用性，并实现了实时执行和高精度，这得益于细粒度结构化稀疏模型推理和面向移动设备的编译器优化。我们首先提出了一种新的基于块的行列（BCR）剪枝的细粒度结构化稀疏方案。基于这种新的细粒度结构化稀疏性，我们的 GRIM 框架由两部分组成： 用于实时移动推理的编译器优化和代码生成； 用于确定剪枝超参数和执行权重剪枝的 BCR 剪枝优化。我们将 GRIM 与 Alibaba MNN、TVM、TensorFlow-Lite、基于 CSR 的稀疏实现、PatDNN 和 ESE（一个具有代表性的用于 RNNs 的 FPGA 推理加速框架）进行了比较，实现了高达 14.08 倍的加速。
引用
@article{arxiv.2108.11033,
title = {GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity},
author = {Wei Niu and Zhengang Li and Xiaolong Ma and Peiyan Dong and Gang Zhou and Xuehai Qian and Xue Lin and Yanzhi Wang and Bin Ren},
journal= {arXiv preprint arXiv:2108.11033},
year = {2021}
}
备注
Accepted in IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2021