深度神经网络中低精度数值格式的性能-效率权衡
分布式、并行与集群计算
2019-03-27 v1 机器学习
摘要
深度神经网络（DNNs）已被证明是跨多个领域的有效预后模型，例如自然语言处理、计算机视觉和基因组学。然而，现代DNN执行任何合理复杂任务都需要高计算量和内存存储。为优化推理时间并缓解这些网络的功耗，带有数据和DNN参数低精度表示的DNN加速器正被积极研究。一个有趣的研究问题是低精度网络如何能以与高精度网络相似性能移植到边缘设备。本工作中，我们在DNN加速器Deep Positron中采用定点、浮点和posit数值格式以 8-bit 精度，并配备精确乘加（EMAC）单元进行推理。统一分析量化了在五项分类任务中整体网络效率与性能之间的权衡。我们的结果表明，posit是DNN推理的自然选择，在 8-bit 精度下表现更优，并且相对于浮点可用有竞争力的资源需求实现。
引用
@article{arxiv.1903.10584,
title = {Performance-Efficiency Trade-off of Low-Precision Numerical Formats in Deep Neural Networks},
author = {Zachariah Carmichael and Hamed F. Langroudi and Char Khazanov and Jeffrey Lillie and John L. Gustafson and Dhireesha Kudithipudi},
journal= {arXiv preprint arXiv:1903.10584},
year = {2019}
}
备注
9 pages, Proceedings of the ACM Conference for Next Generation Arithmetic (CoNGA) 2019