MSP：一种 FPGA 专用的混合方案多精度深度神经网络量化框架
机器学习
2020-10-20 v2 计算机视觉与模式识别
摘要
随着深度学习的巨大成功，将深度学习模型部署到边缘设备上存在迫切需求。为应对边缘设备有限的计算和存储资源，模型压缩技术已被广泛用于裁剪深度神经网络（DNN）模型以进行设备端推理执行。本文以常用的 FPGA（现场可编程门阵列）器件作为 DNN 边缘计算的硬件平台。我们聚焦于 DNN 量化这一主要模型压缩技术，因为 DNN 量化对于 DNN 模型在硬件平台上的实现至关重要。本工作的新颖性体现在两方面：（i）我们提出了一种混合方案 DNN 量化方法，它结合了线性和非线性数系进行量化，旨在提升 FPGA 上异构计算资源（即 LUT（查找表）和 DSP（数字信号处理器））的利用率。注意所有现有的（单方案）量化方法只能利用一类资源（用于深度学习计算中 MAC（乘累加）操作的 LUT 或 DSP 之一）。（ii）我们使用的量化方法支持层内维度的多精度，而现有量化方法沿层间维度应用多精度量化。层内多精度方法可统一不同层的硬件配置以减少计算开销，同时像层间方法一样保持模型精度。
引用
@article{arxiv.2009.07460,
title = {MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework},
author = {Sung-En Chang and Yanyu Li and Mengshu Sun and Weiwen Jiang and Runbin Shi and Xue Lin and Yanzhi Wang},
journal= {arXiv preprint arXiv:2009.07460},
year = {2020}
}
备注
9 pages, 2 figures