有限数值精度的深度学习
机器学习
2015-02-11 v1 神经与进化计算
机器学习
摘要
大规模深度神经网络的训练往往受限于可用的计算资源。我们研究了有限精度数据表示和计算对神经网络训练的影响。在低精度定点计算的背景下，我们观察到舍入方案在决定训练期间网络行为方面起着至关重要的作用。我们的结果表明，当使用随机舍入时，深度网络可以仅使用 16 位宽定点数表示进行训练，并且分类精度几乎没有或完全没有下降。我们还展示了一种能效硬件加速器，其实现了带有随机舍入的低精度定点算术。
引用
@article{arxiv.1502.02551,
title = {Deep Learning with Limited Numerical Precision},
author = {Suyog Gupta and Ankur Agrawal and Kailash Gopalakrishnan and Pritish Narayanan},
journal= {arXiv preprint arXiv:1502.02551},
year = {2015}
}
备注
10 pages, 6 figures, 1 table