当元宇宙遇见车路协同：基于多智能体 DRL 的车联数字孪生迁移 Stackelberg 博弈
计算机科学与博弈论
2023-12-29 v1
摘要
车联元宇宙代表了车路协同、元宇宙和万物增强智能融合而产生的新兴范式。用户通过持续更新其车联数字孪生（VT）来进入车联元宇宙（VMU），这些 VT 部署在附近的路侧单元（RSU）上。受限于 RSU 的覆盖范围和车辆的持续移动，必须通过车路协同在 RSU 之间连续迁移 VT，以确保 VMU 的不间断沉浸式服务。然而，VT 迁移过程面临从 RSU 获取足够带宽资源以进行及时迁移的挑战，这构成了 RSU 之间的资源交易问题。在本文中，我们通过构建一种结合社会感知和排队论见解的多领导者 - 多跟随者博弈论激励机制来应对这一挑战，以优化 VT 迁移。为了验证 Stackelberg 均衡的存在性和唯一性，我们应用了逆向归纳法。随后通过交替方向乘子法（ADMM）算法获得了该均衡的理论解。此外，由于隐私保护要求导致的信息不完全，我们提出了一种名为 MALPPO 的多智能体深度强化学习算法。MALPPO 无需他人的私有信息，仅依靠过往经验即可促进学习 Stackelberg 均衡。全面的实验结果表明，我们基于 MALPPO 的激励机制显著优于基线方法，展现出快速收敛性并实现了最高奖励。
引用
@article{arxiv.2312.17081,
title = {When Metaverses Meet Vehicle Road Cooperation: Multi-Agent DRL-Based Stackelberg Game for Vehicular Twins Migration},
author = {Jiawen Kang and Junhong Zhang and Helin Yang and Dongdong Ye and M. Shamim Hossain},
journal= {arXiv preprint arXiv:2312.17081},
year = {2023}
}