混合与匹配：一种以 FPGA 为中心的新型深度神经网络量化框架
机器学习
2020-12-15 v2 硬件体系结构
摘要
深度神经网络（DNN）在各种应用领域取得了非凡的性能。为了支持多样的 DNN 模型，在边缘计算平台（如 ASIC、FPGA 和嵌入式系统）上高效实现 DNN 推理被广泛研究。由于庞大的模型尺寸和计算量，模型压缩是将 DNN 模型部署到边缘设备的关键步骤。本文专注于权重量化，这是一种硬件友好的模型压缩方法，与权重剪枝互补。与对所有权重使用相同量化方案的现有方法不同，我们提出了首个对权重矩阵的不同行应用不同量化方案的解决方案。其动机在于（1）不同行中权重的分布不相同；（2）实现异构 FPGA 硬件资源更好利用的潜力。为了实现这一点，我们首先提出了一种名为 2 的幂之和（SP2）的硬件友好量化方案，适用于类高斯权重分布，其中乘法运算可以被逻辑移位器和加法器替代，从而实现利用 FPGA LUT 资源的高效实现。相反，现有的定点量化适用于类均匀权重分布，并且可以由 DSP 高效实现。然后为了充分探索资源，我们提出了一种以 FPGA 为中心的混合方案量化（MSQ），集成了所提出的 SP2 和定点方案。由于与权重分布更好地匹配，结合这两种方案可以保持甚至提高准确率。
引用
@article{arxiv.2012.04240,
title = {Mix and Match: A Novel FPGA-Centric Deep Neural Network Quantization Framework},
author = {Sung-En Chang and Yanyu Li and Mengshu Sun and Runbin Shi and Hayden K. -H. So and Xuehai Qian and Yanzhi Wang and Xue Lin},
journal= {arXiv preprint arXiv:2012.04240},
year = {2020}
}
备注
Accepted by High-Performance Computer Architecture (HPCA'2021)