基于DNN划分与资源分配联合优化的协作边缘推理端到端时延最小化
分布式、并行与集群计算
2023-10-20 v1
摘要
移动边缘计算（MEC）中的协作推理通过将划分的深度神经网络（DNN）模型部署在资源受限的用户设备（UE）与边缘服务器（ES）之间，已成为一种有前景的范式。首先，我们考虑连续人工智能（AI）任务到达的场景，如视频流的目标检测，并利用串行排队模型精确评估协作边缘推理中的端到端（E2E）时延。其次，为提升推理系统的长期性能，我们构建了一个多时隙随机E2E时延优化问题，联合考虑模型划分与多维资源分配。最后，为解决该问题，我们提出一种李雅普诺夫引导的多维优化算法（LyMDO），将原始问题解耦为每时隙的确定性问题，其中利用深度强化学习（DRL）与凸优化对划分决策与互补资源分配进行联合优化。仿真结果表明，我们的方法在平衡长期资源约束的同时有效改善了E2E时延。
引用
@article{arxiv.2310.12937,
title = {End-to-End Delay Minimization based on Joint Optimization of DNN Partitioning and Resource Allocation for Cooperative Edge Inference},
author = {Xinrui Ye and Yanzan Sun and Dingzhu Wen and Guanjin Pan and Shunqing Zhang},
journal= {arXiv preprint arXiv:2310.12937},
year = {2023}
}
备注
7 pages, 9 figures, 1 table, 1 algorithm, to be published in IEEE 98th Vehicular Technology Conference (VTC2023-Fall)