LegoDNN：面向移动视觉的深度神经网络块粒度缩放
计算机视觉与模式识别
2021-12-21 v1
摘要
深度神经网络（DNNs）已成为移动与嵌入式系统中用于图像/物体识别与分类等应用的普遍技术。同时执行多个 DNN 的趋势加剧了在资源受限移动设备上满足严苛延迟/精度要求的既有局限。现有研究通过依据资源动态缩放模型规模来探索精度-资源权衡。然而，此类模型缩放方法面临紧迫挑战：(i) 模型规模的巨大空间探索，以及 (ii) 不同模型组合极其漫长的训练时间。本文中，我们提出 LegoDNN，一种轻量、块粒度缩放方案，用于在移动视觉系统中运行多 DNN 工作负载。LegoDNN 仅提取并训练 DNN 中少量公共块（如 VGG 中 5 个、ResNet 中 8 个）来保证短模型训练时间。在运行时，LegoDNN 在这些块的派生模型间最优组合，以在特定资源与延迟约束下最大化精度，同时通过 DNN 的智能块级缩放降低切换开销。我们在 TensorFlow Lite 中实现 LegoDNN，并使用一组 12 个流行 DNN 模型针对最先进技术（FLOP 缩放、知识蒸馏与模型压缩）进行了广泛评估。评估结果显示，LegoDNN 在不增加训练时间的情况下提供 1,296 倍至 279,936 倍更多的模型规模选项，从而实现高达 31.74% 的推理精度提升与 71.07% 的缩放能耗降低。
引用
@article{arxiv.2112.09852,
title = {LegoDNN: Block-grained Scaling of Deep Neural Networks for Mobile Vision},
author = {Rui Han and Qinglong Zhang and Chi Harold Liu and Guoren Wang and Jian Tang and Lydia Y. Chen},
journal= {arXiv preprint arXiv:2112.09852},
year = {2021}
}
备注
13 pages, 15 figures