深度神经网络中用于受限内存的降低精度策略
机器学习
2016-01-11 v4 神经与进化计算
摘要
本工作研究在卷积神经网络（CNNs）中使用降低精度数据如何影响分类过程中的网络精度。更具体地，本研究考虑每层可能使用不同精度数据的网络。我们的关键结果是观察到CNN对降低精度数据的容差不仅在不同网络间变化（一个已确立的观察），而且在同一网络内部也变化。逐层调整精度颇具吸引力，因为它能带来能耗与性能改进。本文中我们研究层间误差容差如何变化，并提出一种在保持高精度的同时为网络寻找低精度配置的方法。我们分析了一组多样的CNN，表明与所有层使用32位浮点表示的常规实现相比，在相对精度损失小于1%的情况下，这些网络所需的数据足迹平均可减少74%，最高可达92%。
引用
@article{arxiv.1511.05236,
title = {Reduced-Precision Strategies for Bounded Memory in Deep Neural Nets},
author = {Patrick Judd and Jorge Albericio and Tayler Hetherington and Tor Aamodt and Natalie Enright Jerger and Raquel Urtasun and Andreas Moshovos},
journal= {arXiv preprint arXiv:1511.05236},
year = {2016}
}
备注
Submitted to ICLR 2016, 12 pages, 5 figures