面向基于DNN的视觉分析联合优化预处理与推理
数据库
2020-07-28 v1 计算机视觉与模式识别
摘要
尽管深度神经网络（DNNs）正日益成为查询大型数据语料的流行方式，其显著的运行时开销仍是活跃的研究领域。为此，研究者已提出系统与优化方法，通过允许用户权衡精度与速度来降低这些成本。本工作中，我们考察现代加速器上视觉分析系统中的端到端 DNN 执行。通过一项新颖的测量研究，我们表明数据的预处理（如解码、缩放）在现代硬件上的许多视觉分析系统中可能成为瓶颈。为解决预处理瓶颈，我们引入两种面向端到端视觉分析系统的优化。首先，我们提出利用原生存在的低分辨率视觉数据来实现精度与吞吐量权衡的新方法。其次，我们开发了一个用于高效视觉 DNN 推理的运行时引擎。该运行时引擎 a) 高效流水线化预处理与 DNN 推理执行，b) 以硬件与输入感知的方式将预处理操作置于 CPU 或 GPU 上，c) 高效管理内存与线程以实现高吞吐量执行。我们在名为 Smol 的新系统中实现这些优化，并在八个视觉数据集上评估 Smol。我们表明，在固定精度下，其优化相比近期视觉分析工作可实现高达 5.9 倍的端到端吞吐量提升。
引用
@article{arxiv.2007.13005,
title = {Jointly Optimizing Preprocessing and Inference for DNN-based Visual Analytics},
author = {Daniel Kang and Ankit Mathur and Teja Veeramacheneni and Peter Bailis and Matei Zaharia},
journal= {arXiv preprint arXiv:2007.13005},
year = {2020}
}