ResNet-50 的 26ms 推理时间：迈向智能手机上所有 DNN 的实时执行
机器学习
2019-05-03 v1 计算机视觉与模式识别
机器学习
摘要
随着一系列高端移动设备的迅速涌现，许多以往需要桌面级计算能力的应用如今可在这些设备上毫无问题地运行。然而，若无细致优化，执行深度神经网络（DNN，作为许多流行应用基础的实时视频流处理的关键构件）仍具挑战性，尤其在需要极低延迟或高准确率推理时。本工作提出 CADNN，一个借助先进模型压缩（稀疏性）与一套彻底的架构感知优化来在移动设备上高效执行 DNN 的编程框架。评估结果表明，CADNN 优于所有最先进的稠密 DNN 执行框架，如 TensorFlow Lite 与 TVM。
引用
@article{arxiv.1905.00571,
title = {26ms Inference Time for ResNet-50: Towards Real-Time Execution of all DNNs on Smartphone},
author = {Wei Niu and Xiaolong Ma and Yanzhi Wang and Bin Ren},
journal= {arXiv preprint arXiv:1905.00571},
year = {2019}
}