LETI：移动GPU上神经网络推理的延迟估计工具与调研
性能
2021-07-28 v2 计算机视觉与模式识别
机器学习
摘要
许多深度学习应用希望在移动设备上运行。对其中大量应用而言，准确率和推理时间都具有重要意义。虽然FLOPs数量常被用作神经网络延迟的代理指标，但这或许并非最佳选择。为获得更好的延迟近似，研究界使用所有可能层的查找表来计算移动CPU上推理的最终预测延迟。该方法仅需少量实验。遗憾的是，在移动GPU上此方法无法直接适用且精度较低。本文将移动GPU上的延迟近似视为数据与硬件相关的问题。我们的主要目标是构建一个便于调研（investigation）神经网络推理并为每个特定任务建立鲁棒且准确的延迟预测模型的便捷延迟估计工具（LETI）。为实现该目标，我们构建了开源工具，提供在面向移动GPU的不同目标设备上进行大规模实验的便捷途径。在评估数据集后，我们在实验数据上学习回归模型并将其用于未来延迟预测与分析。我们在流行的NAS-Benchmark 101数据集子集上实验证明了该方法的可行性，并针对两款移动GPU评估了最流行的神经网络架构。结果我们在目标评估子集上构建了精度良好的延迟预测模型。我们认为LETI是神经架构搜索或大规模延迟评估的有用工具。项目地址：https://github.com/leti-ai
引用
@article{arxiv.2010.02871,
title = {LETI: Latency Estimation Tool and Investigation of Neural Networks inference on Mobile GPU},
author = {Evgeny Ponomarev and Sergey Matveev and Ivan Oseledets},
journal= {arXiv preprint arXiv:2010.02871},
year = {2021}
}
备注
Please, don't use this draft version because there are some mistakes in data