高移动性毫米波车载网络的最优波束关联：轻量级并行强化学习方法
网络与互联网体系结构
2021-06-08 v2 机器学习
信号处理
摘要
在智能交通系统（ITS）中，车辆有望具备先进应用与服务，其要求超高数据速率与低延迟通信。为此，毫米波（mmWave）通信已成为极具前景的解决方案。然而，由于车辆高移动性以及 mmWave 波束对动态阻塞的固有敏感性，将 mmWave 引入 ITS 尤其具挑战性。本文通过为高移动性下 mmWave 车载网络开发最优波束关联框架来解决这些问题。具体而言，我们使用半马尔可夫决策过程刻画环境的动态与不确定性。随后常使用 Q-learning 算法寻找最优策略。然而，Q-learning 以其收敛缓慢而著称。与采用深度强化学习结构（如文献中多数工作）不同，我们利用道路上通常有多个车辆这一事实来加速学习过程。为此，我们开发了一种轻量级却非常有效的并行 Q-learning 算法，通过同时从多车辆学习快速获得最优策略。大量仿真表明，相较其他方案，我们所提方案将数据速率提升 47%，并将断连概率降低 29%。
引用
@article{arxiv.2005.00694,
title = {Optimal Beam Association for High Mobility mmWave Vehicular Networks: Lightweight Parallel Reinforcement Learning Approach},
author = {Nguyen Van Huynh and Diep N. Nguyen and Dinh Thai Hoang and Eryk Dutkiewicz},
journal= {arXiv preprint arXiv:2005.00694},
year = {2021}
}