移动应用深度神经网络推理性能的特征分析
分布式、并行与集群计算
2019-09-12 v1 性能
摘要
如今的移动应用越来越多地利用深度神经网络来提供新功能，例如图像与语音识别。为使用预训练的深度神经网络，移动开发者可将其托管于云服务器（称为基于云的推理），或随移动应用一同发布（称为设备端推理）。在这项工作中，我们使用流行的卷积神经网络，在移动设备与公共云上研究了这两种常见方法的推理性能。我们的测量研究表明，支持移动应用需要设备端与基于云的推理二者兼备。具体而言，较新的移动设备能够在合理时间内运行移动优化的 CNN 模型。然而，对于较旧的移动设备或要使用更复杂的 CNN 模型时，移动应用应选择基于云的推理。我们进一步证明，多变的网络条件会导致较差的基于云的推理端到端时间。为支持高效的基于云推理，我们提出了一种称为 CNNSelect 的 CNN 模型选择算法，它为每个推理请求动态选择最合适的 CNN 模型，并调整其选择以匹配由多变移动环境引起的不同 SLA 与执行时间预算。CNNSelect 的关键思想是在运行时利用一组 CNN 模型进行推理速度与精度的权衡。我们证明，CNNSelect 平稳地提升了推理精度，同时在比贪婪基线多 88.5% 的案例中维持了 SLA 达成率。
引用
@article{arxiv.1909.04783,
title = {Characterizing the Deep Neural Networks Inference Performance of Mobile Applications},
author = {Samuel S. Ogden and Tian Guo},
journal= {arXiv preprint arXiv:1909.04783},
year = {2019}
}
备注
11 pages (12 with references and bios), 13 figures