以量化误差作为神经网络训练动态精度缩放的度量
机器学习
2019-01-25 v2
摘要
近期工作探索了在神经网络训练期间降低参数、激活值和梯度的数值精度，作为降低训练计算代价的方法（Na & Mukhopadhyay, 2016）（Courbariaux et al., 2014）。我们提出一种新颖的动态精度缩放（DPS）方案。利用随机定点舍入、基于量化误差的缩放方案以及训练期间的动态位宽，我们在MNIST数据集上以权重平均位宽仅16位、激活值14位取得98.8%测试准确率，而深度学习框架中标准使用32位浮点值。
引用
@article{arxiv.1801.08621,
title = {Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training},
author = {Ian Taras and Dylan Malone Stuart},
journal= {arXiv preprint arXiv:1801.08621},
year = {2019}
}