基于深度强化学习的分布式车辆位置控制以扩展 mmWave V2X 覆盖
网络与互联网体系结构
2019-03-25 v2
摘要
在毫米波（mmWave）车载通信中，因视距（LOS）遮挡导致的多跳中继断开是一个关键问题，尤其在支持 mmWave 的车辆早期扩散阶段，并非所有车辆都配备 mmWave 通信设备。本文提出一种针对自动驾驶车辆的分布式位置控制方法，使其通过避开遮挡、以 LOS 路径相互通信，形成连接路侧单元（RSUs）的长中继。即便采用该方法的车辆不使用环境的全部信息且彼此协作，它们也能仅利用周边信息（如周围车辆位置）决定自身动作（如变道与超车）以形成长中继。该决策问题被建模为马尔可夫决策过程，使自动驾驶车辆能通过强化学习（RL）算法学习建立长中继的实用运动策略。本文基于成熟的深度强化学习算法异步优势 actor-critic（A3C）设计学习算法，借助其深度神经网络架构与多智能体学习机制，使车辆快速学习复杂运动策略。一旦策略训练良好，车辆可分布式移动至能建立至 RSU 长中继的位置。仿真结果证实，即便学习与运行阶段的交通条件及 mmWave 通信设备渗透率不同，所提方法仍能增加中继长度与覆盖。
引用
@article{arxiv.1810.11211,
title = {Deep-Reinforcement-Learning-Based Distributed Vehicle Position Controls for Coverage Expansion in mmWave V2X},
author = {Akihito Taya and Takayuki Nishio and Masahiro Morikura and Koji Yamamoto},
journal= {arXiv preprint arXiv:1810.11211},
year = {2019}
}
备注
16 pages, 11 figures, IEICE Transactions on Communications