基于深度强化学习的工业物联网中精度可保证的协作式DNN推理
系统与控制
2023-01-03 v1 人工智能
机器学习
系统与控制
摘要
工业物联网(IoT)设备与边缘网络之间的协作对于支持计算密集型的深度神经网络(DNN)推理服务至关重要，此类服务要求低时延和高精度。根据网络状况动态配置工业物联网设备采样率的采样率自适应，是最小化服务时延的关键。本文研究工业物联网网络中的协作式DNN推理问题。为刻画信道变化和任务到达随机性，我们将该问题建模为约束马尔可夫决策过程(CMDP)。具体而言，联合考虑采样率自适应、推理任务卸载和边缘计算资源分配，以在保障不同推理服务长期精度需求的同时最小化平均服务时延。由于CMDP因难以处理的长期约束而无法由通用强化学习(RL)算法直接求解，我们首先利用Lyapunov优化技术将CMDP转化为MDP。随后，提出一种基于深度RL的算法来求解该MDP。为加速训练过程，在所提算法中嵌入了一个优化子程序以直接获得最优边缘计算资源分配。大量仿真结果证明，所提基于RL的算法能以高概率在保持长期推理精度的同时显著降低平均服务时延。
引用
@article{arxiv.2301.00130,
title = {Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning},
author = {Wen Wu and Peng Yang and Weiting Zhang and Conghao Zhou and Xuemin and Shen},
journal= {arXiv preprint arXiv:2301.00130},
year = {2023}
}
备注
Accpeted by Transaction on Industrial Informatics (TII)