AdaSpring：面向移动应用的上下文自适应与运行时演化的深度模型压缩框架
机器学习
2021-01-29 v1 网络与互联网体系结构
摘要
如今有许多深度学习（如 DNN）驱动的移动通信和可穿戴应用，持续且不显眼地感知周围环境以提升人类生活的各个方面。为实现稳健且私密的移动感知，DNN 往往通过模型压缩部署在资源受限的移动设备本地。当前的做法，无论是手工设计的 DNN 压缩技术（即优化 DNN 相关性能，如参数量），还是按需 DNN 压缩方法（即优化硬件相关指标，如延迟），都无法在本地在线进行，因为它们需要离线重训练以保证精度。此外，它们均未将自身工作与运行时自适应压缩相关联，以考虑移动应用部署环境的动态特性。为应对这些挑战，我们提出 AdaSpring，一个上下文自适应且自演化的 DNN 压缩框架。它支持本地在线的运行时自适应 DNN 压缩。具体而言，它提出免重训练且自演化的网络的集成训练，以整合多种备选 DNN 压缩配置（即压缩架构与权重）。随后引入运行时搜索策略，快速搜索最合适的压缩配置并演化相应权重。通过在三个平台上的五项任务及一项真实案例研究的评估，实验结果表明，与手工设计的压缩技术相比，AdaSpring 在 DNN 中实现了高达 3.1 倍的延迟降低和 4.2 倍的能效提升，同时仅引入 ≤ 6.2 ms 的运行时演化延迟。
引用
@article{arxiv.2101.11800,
title = {AdaSpring: Context-adaptive and Runtime-evolutionary Deep Model Compression for Mobile Applications},
author = {Sicong Liu and Bin Guo and Ke Ma and Zhiwen Yu and Junzhao Du},
journal= {arXiv preprint arXiv:2101.11800},
year = {2021}
}
备注
Ubicomp 2021