HG-Caffe:支持 FP16 的移动与嵌入式神经网络 GPU (OpenCL) 推理引擎
机器学习
2019-01-07 v1
摘要
深度学习和移动系统级芯片领域的突破正在从根本上改变我们智能手机的使用方式。然而,由于移动 CPU 上的计算开销和对电池的严重消耗,深度神经网络推理对于边缘 AI 设备仍是一项具有挑战性的任务。在本文中,我们提出一个名为 HG-Caffe 的深度神经网络推理引擎,其支持半精度 GPU。与原始实现相比,HG-Caffe 在 GPU 上提供高达 20 倍的加速。除加速外,峰值内存使用也降低至约 80%。借助 HG-Caffe,更多创新且引人入胜的移动应用将成为现实。
引用
@article{arxiv.1901.00858,
title = {HG-Caffe: Mobile and Embedded Neural Network GPU (OpenCL) Inference Engine with FP16 Supporting},
author = {Zhuoran Ji},
journal= {arXiv preprint arXiv:1901.00858},
year = {2019}
}