面向密集 mmWave 网络时延最优数据传输的结构化强化学习
网络与互联网体系结构
2024-04-29 v1 信息论
机器学习
信号处理
math.IT
摘要
我们研究密集无小区毫米波网络中的数据包传输问题，即用户通过上行链路向接入点发送数据包请求，AP 通过下行链路将所请求的数据包传输给用户。由于 AP 的有限服务容量以及 AP 与用户之间不可靠的无线信道，我们的目标是最小化系统中的平均时延。该问题可被建模为带公平性约束的非休眠多臂老虎机问题。由于寻找 RMAB-F 的最优策略是难解的，现有的学习算法计算成本高昂，不适用于实际动态密集 mmWave 网络。本文通过利用 RMAB-F 中编码的内在结构，为 mmDPT 提出了一种结构化强化学习解决方案。为此，我们首先为 RMAB-F 设计了一种低复杂度且可证明渐近最优的索引策略。然后，我们利用该结构信息开发了一种名为 mmDPT-TS 的结构化强化学习算法，并证明其可实现 \tilde{O}(\sqrt{T}) 的贝叶斯遗憾。更重要的是，mmDPT-TS 计算高效，因此适合实际应用，因为它充分利用了索引策略的结构进行决策。基于在真实 mmWave 网络中收集的数据进行的大量仿真表明，mmDPT-TS 相比现有方法具有显著优势。
引用
@article{arxiv.2404.16920,
title = {Structured Reinforcement Learning for Delay-Optimal Data Transmission in Dense mmWave Networks},
author = {Shufan Wang and Guojun Xiong and Shichen Zhang and Huacheng Zeng and Jian Li and Shivendra Panwar},
journal= {arXiv preprint arXiv:2404.16920},
year = {2024}
}
备注
IEEE Transactions on Wireless Communications