基于多智能体多任务强化学习的队列式 C-V2X 网络信息年龄感知资源分配
信号处理
2021-05-11 v1 机器学习
多智能体系统
摘要
本文研究队列系统的信息年龄（AoI）感知无线资源管理问题。多个自动驾驶队列利用蜂窝式无线车辆到一切（C-V2X）通信技术向其跟随车辆分发协同感知消息（CAMs），同时确保安全关键消息及时送达路侧单元（RSU）。由于动态信道条件的挑战，需要全局信息的集中式资源管理方案效率低下并导致大量信令开销。因此，我们利用基于多智能体强化学习（MARL）的分布式资源分配框架，其中每个队列领导者（PL）作为智能体与环境交互以学习其最优策略。现有 MARL 算法为群体的集体成功考虑整体奖励函数，往往导致不尽人意的结果且无法保证每个智能体的最优策略。因此，受强化学习现有文献启发，我们提出一种新颖的 MARL 框架，训练两个评论家以实现如下目标：估计全局期望奖励并促使智能体朝向协作行为的全局评论家，以及为每个智能体估计局部个体奖励的专属局部评论家。此外，基于每个智能体须完成的任务，将每个智能体的个体奖励分解为多个子奖励函数，其中按任务分别学习价值函数。数值结果表明，与应用于该领域的常规 RL 方法相比，我们所提算法有效。
引用
@article{arxiv.2105.04196,
title = {AoI-Aware Resource Allocation for Platoon-Based C-V2X Networks via Multi-Agent Multi-Task Reinforcement Learning},
author = {Mohammad Parvini and Mohammad Reza Javan and Nader Mokari and Bijan Abbasi and Eduard A. Jorswieck},
journal= {arXiv preprint arXiv:2105.04196},
year = {2021}
}