移动边缘计算中基于通用任务图的计算卸载与资源分配：一种深度强化学习方法

在本文中，我们考虑一个移动边缘计算系统，其中接入点协助移动设备（MD）执行一个由多个任务组成、遵循通用任务调用图的应用。目标是在时变无线衰落信道和随机边缘计算能力下，联合确定每个任务的卸载决策与资源分配，以使 MD 的能量-时间代价（ETC）最小化。由于组合式的卸载决策以及通用依赖模型下任务执行间的强耦合，该问题尤其难以求解。传统数值优化方法求解此类问题效率低下，尤其当问题规模较大时。为解决该问题，我们提出了一种基于 actor-critic 学习结构的深度强化学习（DRL）框架。具体而言，actor 网络利用 DNN 学习从输入状态到每个任务的二元卸载决策的最优映射。同时，通过分析最优解的结构，我们推导了一种低复杂度算法供 critic 网络快速评估 actor 网络所输出卸载决策的 ETC 性能。借助低复杂度 critic 网络，我们可快速选择最佳卸载动作，随后将状态-动作对存入经验回放记忆作为训练数据集，以持续改进动作生成 DNN。为进一步降低复杂度，我们证明最优卸载决策呈现单爬升结构，可用于显著缩减动作生成的搜索空间。数值结果表明，对于各类任务图，所提算法可达到最优性能的最高达 $99.1\%$，同时相比现有优化方法显著降低了计算复杂度。