用于 LTE 与 NR 动态频谱共享的深度强化学习
网络与互联网体系结构
2021-02-23 v1 人工智能
信息论
math.IT
摘要
本文提出一种 4G 与 5G 系统间的主动动态频谱共享方案。具体而言，控制器在每个子帧决定 NR 与 LTE 间的资源划分，同时考虑未来网络状态，如高干扰子帧与多媒体广播单频网络（MBSFN）子帧。为解决该问题，提出了一种基于蒙特卡洛树搜索（MCTS）的深度强化学习（RL）算法。所引入的深度 RL 架构离线训练，其中控制器通过从当前网络状态出发随时间模拟假设的带宽划分，预测无线接入网未来状态序列。随后分配产生最佳奖励的动作序列。这通过预测与规划最直接相关的量来实现，即每个网络状态的奖励、动作概率与价值。仿真结果表明，所提方案能够在考虑未来状态的情况下采取行动，而非在每个子帧中贪心。结果还显示所提框架提升了系统级性能。
引用
@article{arxiv.2102.11176,
title = {Deep Reinforcement Learning for Dynamic Spectrum Sharing of LTE and NR},
author = {Ursula Challita and David Sandberg},
journal= {arXiv preprint arXiv:2102.11176},
year = {2021}
}
备注
To appear in the IEEE International Conference on Communications (ICC'21)