面向深度学习应用的分拆计算与提前退出:综述与研究挑战
信号处理
2025-01-03 v4 机器学习
摘要
智能手机与自动驾驶汽车等移动设备日益依赖深度神经网络(DNN)执行图像分类与语音识别等复杂推理任务。然而,在移动设备上持续执行整个 DNN 会迅速耗尽电池。尽管将任务卸载至云/边缘服务器可减轻移动设备计算负担,但信道质量、网络与边缘服务器负载的波动可能导致任务执行出现显著延迟。近来,基于分拆计算(SC)的方法被提出,其中 DNN 被拆分为头模型与尾模型,分别在移动设备与边缘服务器上执行。这最终可降低带宽使用与能耗。另一称为提前退出(EE)的方法训练模型在架构中较早处嵌入多个“出口”,各自提供渐高的目标精度。因此,可根据当前条件或应用需求调节精度与延迟的权衡。本文通过对比最相关的方法,对 SC 与 EE 策略的现有前沿进展进行全面综述。文末给出一组引人关注的研究挑战。
引用
@article{arxiv.2103.04505,
title = {Split Computing and Early Exiting for Deep Learning Applications: Survey and Research Challenges},
author = {Yoshitomo Matsubara and Marco Levorato and Francesco Restuccia},
journal= {arXiv preprint arXiv:2103.04505},
year = {2025}
}
备注
Accepted to ACM Computing Surveys (CSUR)