面向非地面网络资源优化的协作式深度强化学习
信号处理
2024-10-16 v2
摘要
配备低轨（LEO）卫星的非地面网络（NTN）被认为是支持全球泛在无线服务的有前景的补救措施。由于 LEO 卫星的快速移动性，特定用户设备（UE）会频繁发生波束间/卫星间切换。为解决此问题，地球固定小区场景得到了研究，在该场景中，LEO 卫星在其驻留时间内将波束方向调整至固定区域，以维持 UE 稳定的传输性能。因此，要求 LEO 卫星执行实时资源分配，然而这对于计算能力有限的 LEO 卫星而言是无法承受的。为解决此问题，本文提出了一种用于 NTN 中波束管理和资源分配的双时间尺度协作深度强化学习（DRL）方案，其中具有不同控制周期的 LEO 卫星和 UE 以顺序方式更新其决策策略。具体而言，UE 在更新其策略时受限于改善两个智能体的价值函数。此外，LEO 卫星仅利用从 UE 接收的参考决策轨迹通过有限步展开进行决策。仿真结果表明，所提方案能在吞吐量性能和计算复杂度之间实现有效平衡，优于传统贪婪搜索方案。
引用
@article{arxiv.2402.04056,
title = {Collaborative Deep Reinforcement Learning for Resource Optimization in Non-Terrestrial Networks},
author = {Yang Cao and Shao-Yu Lien and Ying-Chang Liang and Dusit Niyato and Xuemin and Shen},
journal= {arXiv preprint arXiv:2402.04056},
year = {2024}
}