BiQGEMM：面向基于二值编码量化的 DNN 的查表矩阵乘法
机器学习
2020-09-01 v2 机器学习
摘要
深度神经网络（DNNs）中的参数数量正迅速增加，以支持复杂任务并提升模型准确率。相应地，计算量与所需内存占用也随之增加。量化是一种通过压缩 DNNs 来解决此类问题的有效方法，可简化计算并显著减少所需存储占用。遗憾的是，商用 CPU 与 GPU 并不完全支持量化，因为其仅允许固定的数据传输（如 32 位）。因此，即便权重被量化为几位，CPU 与 GPU 也无法在不浪费内存带宽的情况下访问多个量化权重。因而，量化在实践中的成功依赖于高效的计算引擎设计，尤其对于作为大多数 DNNs 基本计算引擎的矩阵乘法。本文提出一种专用于量化 DNNs 的新型矩阵乘法方法 BiQGEMM。BiQGEMM 可在一条指令中同时访问多个量化权重。此外，当量化导致可用计算空间有限时，BiQGEMM 预计算具有高度冗余的中间结果。由于预计算值存储于查找表中并被复用，BiQGEMM 实现了更少的总体计算量。我们广泛的实验结果表明，在 DNNs 被量化时，BiQGEMM 较传统方案具有更高性能。
引用
@article{arxiv.2005.09904,
title = {BiQGEMM: Matrix Multiplication with Lookup Table For Binary-Coding-based Quantized DNNs},
author = {Yongkweon Jeon and Baeseong Park and Se Jung Kwon and Byeongwook Kim and Jeongin Yun and Dongsoo Lee},
journal= {arXiv preprint arXiv:2005.09904},
year = {2020}
}
备注
13 pages, 12 figures