面向带宽与资源受限物联网系统的灵活分割DNN可瘦身编码器
机器学习
2023-06-23 v1
摘要
在移动边缘设备上执行大型深度神经网络(DNN)需要消耗大量关键资源(如能量),并对硬件能力提出要求。在基于边缘计算的方法中,模型执行被卸载到位于5G基础设施边缘的具备计算能力的设备上。后一类方法的主要问题是需要通过容量有限且时变的无线链路传输信息丰富的信号。近期的分割计算范式试图通过将DNN模型执行分布到系统各层来化解这一僵局,从而减少需传输的数据量,同时对移动设备施加最小计算负载。在此背景下,我们提出一种基于可瘦身集成编码器的新型分割计算方法。我们设计的关键优势是能够以最小开销和时间实时调整计算负载与传输数据大小。这与现有方法形成对比,后者进行同样调整需要代价高昂的上下文切换与模型加载。此外,我们的模型在压缩效能与执行时间上优于现有方案,尤其在弱移动设备场景下。我们给出了与最先进分割计算方案的全面比较,以及在无GPU设备上的实验评估。
引用
@article{arxiv.2306.12691,
title = {Slimmable Encoders for Flexible Split DNNs in Bandwidth and Resource Constrained IoT Systems},
author = {Juliano S. Assine and J. C. S. Santos Filho and Eduardo Valle and Marco Levorato},
journal= {arXiv preprint arXiv:2306.12691},
year = {2023}
}