基于多智能体强化学习的车载网络频谱共享
信息论
2019-06-11 v2 math.IT
摘要
本文研究基于多智能体强化学习的车载网络频谱共享问题，其中多个车对车（V2V）链路复用已被车对基础设施（V2I）链路占用的频谱。高移动性车载环境中快速的信道变化使得在基站收集准确的瞬时信道状态信息以进行集中式资源管理成为可能的情况被排除。为此，我们将资源共享建模为多智能体强化学习问题，随后使用一种基于指纹的深度 Q 网络方法求解，该方法适于分布式实现。各 V2V 链路作为一个智能体，共同与通信环境交互，接收不同的观测但获得共同的奖励，并通过学习利用所获经验更新 Q 网络来改进频谱与功率分配。我们证明，通过恰当的奖励设计与训练机制，多个 V2V 智能体成功学会以分布式方式协作，同时提升 V2I 链路的总容量与 V2V 链路的载荷投递率。
引用
@article{arxiv.1905.02910,
title = {Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning},
author = {Le Liang and Hao Ye and Geoffrey Ye Li},
journal= {arXiv preprint arXiv:1905.02910},
year = {2019}
}
备注
11 pages, 7 figures, accepted by IEEE Journal on Selected Areas in Communications. Implementation: https://github.com/AlexVic/MARLspectrumSharingV2X