可重构逻辑上降低精度神经网络的准确率与吞吐量权衡
计算机视觉与模式识别
2018-07-30 v1
摘要
现代CNN通常基于浮点线性代数实现。近来，降低精度的NN因相较浮点大幅减少内存与计算资源需求而日益流行。这在功耗受限的计算环境中尤为重要。然而，许多情况下精度降低会以轻微牺牲所得网络准确率为代价。本工作研究了应用于不同类型NN模型的各种参数精度的准确率—吞吐量权衡。我们首先提出一种量化训练策略，允许以更低内存占用和具竞争力的模型准确率进行降低精度NN推理。随后，我们定量刻画了数据表示与硬件效率之间的关系。实验最终提供了有见地的观察。例如，我们的某项测试显示，为达到99% MNIST准确率，32位浮点比1位参数更具硬件效率。总体而言，2位和4位定点参数在MNIST和CIFAR-10等小规模数据集上展现出更好的硬件权衡，而4位在ImageNet数据集上如AlexNet等大规模任务中于我们测试的问题域内提供了最佳权衡。
引用
@article{arxiv.1807.10577,
title = {Accuracy to Throughput Trade-offs for Reduced Precision Neural Networks on Reconfigurable Logic},
author = {Jiang Su and Nicholas J. Fraser and Giulio Gambardella and Michaela Blott and Gianluca Durelli and David B. Thomas and Philip Leong and Peter Y. K. Cheung},
journal= {arXiv preprint arXiv:1807.10577},
year = {2018}
}
备注
Accepted by ARC 2018