ADaPTION：用于训练具有低数值精度权重与激活的卷积神经网络的工具箱与基准
机器学习
2017-11-15 v1
摘要
深度神经网络（DNNs）与卷积神经网络（CNNs）对机器学习中的许多实际任务很有用。深度网络中的突触权重以及神经元激活函数通常以高精度格式存储，例如 32 位浮点。然而，由于存储容量有限且每次内存访问消耗功率，存储容量与内存访问是这些网络中的两个关键因素。此处我们提出一种方法并给出 ADaPTION 工具箱，以扩展流行的深度学习库 Caffe 来支持使用定点表示法以降低数值精度的权重与激活训练深度 CNN。ADaPTION 包含测量权重与激活动态范围的工具。利用 ADaPTION 工具，我们将包括 VGG16 在内的若干 CNN 量化为 16 位权重与激活，仅导致 Top-1 精度下降 0.8%。量化，尤其是激活的量化，导致稀疏度增加至多 50%，尤其在早期与中间层，我们借此跳过与零的乘法，从而执行更快且计算更廉价的推理。
引用
@article{arxiv.1711.04713,
title = {ADaPTION: Toolbox and Benchmark for Training Convolutional Neural Networks with Reduced Numerical Precision Weights and Activation},
author = {Moritz B. Milde and Daniel Neil and Alessandro Aimar and Tobi Delbruck and Giacomo Indiveri},
journal= {arXiv preprint arXiv:1711.04713},
year = {2017}
}
备注
10 pages, 5 figures