NestDNN：面向连续移动视觉的资源感知多租户端上深度学习
计算机视觉与模式识别
2018-10-25 v1
摘要
智能手机、无人机和增强现实头显等移动视觉系统正在改变我们的生活。这些系统通常并发运行多个应用，并且由于启动新应用、关闭现有应用以及应用优先级变更等事件，其运行时的可用资源是动态的。本文提出 NestDNN，一个考虑运行时资源动态以实现移动视觉系统资源感知多租户端上深度学习的框架。NestDNN 使每个深度学习模型能够提供灵活的资源-精度权衡。在运行时，它为每个深度学习模型动态选择最优的资源-精度权衡，使模型的资源需求适配系统的可用运行时资源。通过这种方式，NestDNN 高效利用移动视觉系统中的有限资源，联合最大化所有并发运行应用的性能。我们的实验表明，与不考虑资源的现状方法相比，NestDNN 在推理精度上提高多达 4.2%，视频帧处理速率提升 2.0 倍，能耗降低 1.7 倍。
引用
@article{arxiv.1810.10090,
title = {NestDNN: Resource-Aware Multi-Tenant On-Device Deep Learning for Continuous Mobile Vision},
author = {Biyi Fang and Xiao Zeng and Mi Zhang},
journal= {arXiv preprint arXiv:1810.10090},
year = {2018}
}
备注
12 pages