基于深度神经网络自适应模型划分与校准辅助的边缘推理卸载
机器学习
2021-01-29 v2 网络与互联网体系结构
摘要
移动设备可将基于深度神经网络（DNN）的推理卸载至云端，以克服本地硬件与能量限制。然而，卸载会增加通信延迟，从而增大整体推理时间，因此应仅在必要时使用。解决该问题的一种方法是基于早退出 DNN 的自适应模型划分。据此，推理在移动设备端启动，由中间层估计准确率：若估计准确率足够，设备即作出推理决策；否则，DNN 的剩余层在云端运行。因此，仅当设备无法以高置信度对样本分类时才将推理卸载至云端。该卸载要求设备端准确预测准确率。但 DNN 通常未良好校准，会给出过度自信的决策。本工作表明，使用未校准的早退出 DNN 通过模型划分进行卸载会显著降低推理准确率。相反，我们认为在部署前实施校准算法可解决此问题，从而实现更可靠的卸载决策。
引用
@article{arxiv.2010.16335,
title = {Calibration-Aided Edge Inference Offloading via Adaptive Model Partitioning of Deep Neural Networks},
author = {Roberto G. Pacheco and Rodrigo S. Couto and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2010.16335},
year = {2021}
}
备注
to appear in Proc. IEEE International Conference on Communications (ICC) 2021