OODIn:面向异构移动设备的优化型端侧推理框架
机器学习
2021-06-10 v1 计算机视觉与模式识别
摘要
深度学习(DL)领域的根本性进展使其在多样推理任务中取得了前所未有的精度。因此,在移动平台上部署 DL 模型对于下一代智能应用的开发与广泛普及至关重要。然而,移动设备巨大的系统异构性、不同 DL 模型各异的计算成本,以及 DL 应用间性能需求的多变性,当前阻碍了 DL 模型广泛且优化的部署。本文提出 OODIn,一个面向异构移动设备优化部署 DL 应用的框架。OODIn 包含一种新颖的 DL 专用软件架构,以及用于建模 DL 应用的分析框架,其:(1) 通过高度参数化的多层设计抵消设备资源与 DL 模型的变异性;(2) 通过为 DL 推理应用设计的多目标公式,对模型级与系统级参数进行有原则的优化,从而使部署适应用户指定的性能需求与设备能力。定量评估表明,所提框架在异构设备上持续优于现状设计,相较高度优化的平台感知与模型感知设计分别带来最高 4.3 倍与 3.5 倍的性能提升,同时有效适配资源可用性的动态变化。
引用
@article{arxiv.2106.04723,
title = {OODIn: An Optimised On-Device Inference Framework for Heterogeneous Mobile Devices},
author = {Stylianos I. Venieris and Ioannis Panopoulos and Iakovos S. Venieris},
journal= {arXiv preprint arXiv:2106.04723},
year = {2021}
}
备注
Accepted at the 7th IEEE International Conference on Smart Computing (SMARTCOMP), 2021