MobiRNN:移动GPU上的高效循环神经网络执行
分布式、并行与集群计算
2017-06-06 v1 机器学习
神经与进化计算
摘要
在本文中,我们探索了在移动设备上本地运行循环神经网络(RNN)模型的优化方法。RNN模型广泛用于自然语言处理、机器翻译和其他任务。然而,现有使用RNN模型的移动应用都是在云端运行的。为了解决隐私和效率问题,我们展示了如何将RNN模型本地运行在移动设备上。现有的将深度学习模型移植到移动设备的工作主要关注卷积神经网络(CNN),无法直接应用于RNN模型。为此,我们提出了MobiRNN,一个针对移动设备的优化框架,专门为移动GPU实现了GPU卸载。使用一个用于活动识别的RNN模型进行的评估表明,MobiRNN显著降低了在手机上运行RNN模型的延迟。
引用
@article{arxiv.1706.00878,
title = {MobiRNN: Efficient Recurrent Neural Network Execution on Mobile GPU},
author = {Qingqing Cao and Niranjan Balasubramanian and Aruna Balasubramanian},
journal= {arXiv preprint arXiv:1706.00878},
year = {2017}
}
备注
Published at 1st International Workshop on Embedded and Mobile Deep Learning colocated with MobiSys 2017