TensorQuant：深度神经网络量化的仿真工具箱
计算机视觉与模式识别
2017-10-17 v1 机器学习
机器学习
摘要
最近的研究表明，深度神经网络 (DNN) 的训练和推理可以使用训练/测试数据、权重和梯度的低精度数值表示进行计算，而不会造成普遍的精度损失。这种紧凑表示的好处有两方面：它们允许显著减少分布式 DNN 训练中的通信瓶颈，并加速在 FPGA 等硬件加速器上的神经网络实现。已有几种量化方法被提出，用于将原始的 32 位浮点问题映射到低位表示。虽然大多数相关出版物仅在单个 DNN 拓扑上验证所提出的方法，但显然，量化方法和编码位数的最佳选择取决于拓扑结构。为此，目前尚无通用理论可供用户在设计 DNN 拓扑期间推导最佳量化方案。在本文中，我们展示了针对 TensorFlow 框架的量化工具箱 TensorQuant。TensorQuant 允许在训练和推理期间对现有 DNN 拓扑进行透明的量化仿真。TensorQuant 支持通用量化方法，并允许实验性评估量化对单层以及完整拓扑的影响。在首批使用 TensorQuant 进行的实验中，我们展示了对流行 CNN 拓扑的定点量化分析。
引用
@article{arxiv.1710.05758,
title = {TensorQuant - A Simulation Toolbox for Deep Neural Network Quantization},
author = {Dominik Marek Loroch and Norbert Wehn and Franz-Josef Pfreundt and Janis Keuper},
journal= {arXiv preprint arXiv:1710.05758},
year = {2017}
}