基于分层深度 Q 学习的无线网络双连接切换
网络与互联网体系结构
2023-01-16 v1 机器学习
摘要
5G 新空口提议使用 10 GHz 以上频率以提升 LTE 现有的最大数据速率。然而，5G 天线的有效尺寸及其在城市场景中信号衰减的后果，使得维持稳定的覆盖与连接成为一项挑战。为兼取两种技术之长，近期的双连接方案已证明其相较于共存的独立 5G 与 4G 技术能提升性能。鉴于无线场景的动态特性需要参数学习，强化学习（RL）已在此类环境中展现出巨大潜力。本文提出两种强化学习算法：一种名为截断双 Q 学习（CDQL）的单智能体 RL 算法，以及一种分层深度 Q 学习（HiDQL）算法，以改进多无线接入技术（multi-RAT）双连接切换。我们将所提方案与两种基线（固定参数方案和动态参数方案）进行比较。仿真结果表明，在时延方面有显著改善：与现有方案相比，RL 方案 HiDQL 和 CDQL 在数字-模拟波束赋形（BF）下分别获得 47.6% 和 26.1% 的增益，在混合-模拟 BF 下获得 17.1% 和 21.6% 的增益，在模拟-模拟 BF 下获得 24.7% 和 39% 的增益。HiDQL 收敛时间较慢，但获得了比 CDQL 更优的解。此外，我们预见到利用用户设备地理位置等上下文信息来缩减波束探索扇区，从而进一步改善多 RAT 切换时延结果的优势。
引用
@article{arxiv.2301.05391,
title = {Hierarchical Deep Q-Learning Based Handover in Wireless Networks with Dual Connectivity},
author = {Pedro Enrique Iturria Rivera and Medhat Elsayed and Majid Bavand and Raimundas Gaigalas and Steve Furr and Melike Erol-Kantarci},
journal= {arXiv preprint arXiv:2301.05391},
year = {2023}
}
备注
5 Figures, 4 tables, 2 algorithms. Accepted in Globecom'22