基于强化学习的高移动性毫米波通信车辆-小区关联算法
网络与互联网体系结构
2020-01-29 v1 机器学习
信号处理
摘要
车辆到一切（V2X）通信是一个具有多种应用场景且不断增长的通信领域。本文研究毫米波（mmWave）通信网络中的车辆-小区关联问题。目标是在低信令开销下最大化每个车辆用户（VUE）的时间平均速率，同时确保所有 VUE 达到目标最小速率。我们首先将用户（车辆）关联问题表述为一个离散非凸优化问题。然后，利用机器学习工具，特别是分布式深度强化学习（DDRL）与异步 actor-critic 算法（A3C），提出一种低复杂度算法来近似求解所提优化问题。所提基于 DDRL 的算法赋予每个路边单元（RSU）一个局部 RL 智能体，其根据观测输入状态选择局部动作。不同 RSU 的动作被转发至中心实体，该实体计算全局奖励并反馈给 RSU。结果表明，与运行在线复杂算法求解非凸优化问题相比，各独立训练的 RL 以低控制开销和更低计算复杂度执行车辆-RSU 关联动作。最后，仿真结果表明，与若干基线设计相比，所提方案在总和速率上获得高达 15% 的提升，并将 VUE 中断减少 20%。
引用
@article{arxiv.2001.07915,
title = {Reinforcement Learning Based Vehicle-cell Association Algorithm for Highly Mobile Millimeter Wave Communication},
author = {Hamza Khan and Anis Elgabli and Sumudu Samarakoon and Mehdi Bennis and Choong Seon Hong},
journal= {arXiv preprint arXiv:2001.07915},
year = {2020}
}
备注
13 pages, 14 figures