利用移动 GPU 进行设备端神经网络推理
机器学习
2019-10-16 v1 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
由于更低的延迟和更强的隐私性，在移动设备上对机器学习模型进行设备端推理是值得期待的。然而，仅依靠移动 CPU 运行此类计算密集型任务会因计算能力有限、热约束和能耗问题而十分困难。应用开发者和研究人员已开始利用硬件加速器来克服这些挑战。近来，设备制造商在高端手机中加入了神经处理单元以支持设备端推理，但这仅占手持设备的很小一部分。在本文中，我们展示了如何利用几乎每部手机上都普遍存在的硬件加速器——移动 GPU，在 Android 和 iOS 设备上实时运行深度神经网络的推理。通过描述我们的架构，我们还讨论了如何设计对移动 GPU 友好的网络。我们最先进的移动 GPU 推理引擎已集成到开源项目 TensorFlow Lite 中，并在 https://tensorflow.org/lite 公开可用。
引用
@article{arxiv.1907.01989,
title = {On-Device Neural Net Inference with Mobile GPUs},
author = {Juhyun Lee and Nikolay Chirkov and Ekaterina Ignasheva and Yury Pisarchyk and Mogan Shieh and Fabio Riccardi and Raman Sarokin and Andrei Kulik and Matthias Grundmann},
journal= {arXiv preprint arXiv:1907.01989},
year = {2019}
}
备注
Computer Vision and Pattern Recognition Workshop: Efficient Deep Learning for Computer Vision 2019