学习推断：基于强化学习的异构嵌入式系统 DNN 原语选择搜索
计算机视觉与模式识别
2020-05-21 v1
摘要
深度学习正日益被工业界采用，用于运行在嵌入式设备上的计算机视觉应用。虽然卷积神经网络（CNN）的精度已达到成熟且显著的水平，但推理延迟与吞吐量仍是主要关注点，尤其是在面向低成本和低功耗嵌入式平台时。CNN 的推理延迟可能成为工业界采用深度学习的瓶颈，因为它是许多实时过程的关键指标。此外，由于厂商专有技术与加速库的存在，CNN 在异构平台上的部署面临主要的兼容性问题。在本工作中，我们提出 QS-DNN，一种基于强化学习的全自动搜索方法，其与推理引擎优化器相结合，高效探索设计空间并经验性地找到库与原语的最优组合，以加速异构嵌入式设备上 CNN 的推理。我们表明，相较于无依赖基线，优化组合在 CPU 上可实现高达 45 倍的推理延迟加速，在 GPGPU 上相较最佳厂商库平均可达 2 倍。此外，我们证明，结果质量与“求解时间”远优于随机搜索，并在短时搜索中取得高达 15 倍更优的结果。
引用
@article{arxiv.1811.07315,
title = {Learning to infer: RL-based search for DNN primitive selection on Heterogeneous Embedded Systems},
author = {Miguel de Prado and Nuria Pazos and Luca Benini},
journal= {arXiv preprint arXiv:1811.07315},
year = {2020}
}