移动边缘计算中任务卸载的组合式主从多智能体深度强化学习

最近，执行视频流、数据挖掘、虚拟现实、增强现实、图像处理、视频处理、人脸识别和在线游戏等计算密集型任务的移动应用呈爆炸式增长。然而，平板电脑和智能手机等用户设备 (UDs) 执行任务计算需求的能力有限。移动边缘计算 (MEC) 已成为满足 UDs 日益增长的计算需求的有前景的技术。MEC 中的任务卸载是一种通过在 UDs 和 MEC 服务器之间分配任务来满足 UDs 需求的策略。深度强化学习 (DRL) 在任务卸载问题中越来越受到关注，因为它能适应动态变化并最小化在线计算复杂度。然而，UDs 和 MEC 服务器上各种类型的连续和离散资源约束给设计高效的基于 DRL 的任务卸载策略带来了挑战。现有的基于 DRL 的任务卸载算法侧重于 UDs 的约束，假设服务器上有足够的存储资源。此外，现有的基于多智能体 DRL (MADRL) 的任务卸载算法采用同质智能体，并在其奖励函数中将同质约束视为惩罚。我们提出了一种用于 MEC 任务卸载的新型组合式主从 MADRL (CCM_MADRL) 算法 (CCM_MADRL_MEC)，使 UDs 能够决定其资源需求，服务器能够根据 UDs 的需求做出组合决策。CCM_MADRL_MEC 是任务卸载中第一个除了考虑 UDs 的约束外还考虑服务器存储容量的 MADRL。利用组合动作选择的优势，CCM_MADRL_MEC 表现出优于现有 MADDPG 和启发式算法的收敛性。