项揭示：在已量化DNN上运行时进一步量化
摘要
我们提出一种称为项揭示(TR)的新技术，用于在运行时进一步量化，以提升已用常规量化方法量化的深度神经网络(DNNs)的性能。TR作用于数值二进制表示中2的幂次项。在计算点积时，TR从点积两向量的数值中动态选取固定数量的最大项使用。通过利用DNN中典型存在的类正态权重与数据分布，TR对DNN模型性能(即准确率或困惑度)影响极小。我们利用TR促进紧同步的处理器阵列(如脉动阵列)实现高效并行处理。我们展示了一种FPGA实现，可用少量控制位在常规量化与TR赋能量化间切换，且延迟可忽略。为进一步提升TR效率，我们采用有符号数字表示(SDR)，而非仅含非负2的幂次项的经典二进制编码。为执行从二进制到SDR的转换，我们开发了称为HESE(有符号表达式混合编码)的高效编码方法，可一次扫描、每次仅看两位完成转换。我们在MNIST的MLP、ImageNet的多个CNN以及Wikitext-2的LSTM上评估了采用HESE编码值的TR，结果显示在相同模型性能水平下，推理计算量较常规量化显著减少(3-10倍)。
引用
@article{arxiv.2007.06389,
title = {Term Revealing: Furthering Quantization at Run Time on Quantized DNNs},
author = {H. T. Kung and Bradley McDanel and Sai Qian Zhang},
journal= {arXiv preprint arXiv:2007.06389},
year = {2020}
}
备注
13 pages, 19 figures, 4 tables, To appear in Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC), 2020 Update: Revised writing/figures and added more references for Section IV Update: Revised Section IV writing/figures and added additional references on signed digit representations