非地球网络中的协作计算：基于多时间尺度深度强化学习的方法
信号处理
2024-10-16 v2
摘要
构建以低轨道卫星 (LEO) 为基础的非地球网络 (NTN) 中的地球固定小区是实现全球覆盖的最有前景的范式。然而，LEO 卫星上计算能力有限，使得在短时间内解决资源优化问题至关重要。虽然地面基础设施具有充足的计算能力，可用于协助 LEO 卫星，但不同时间尺度的控制周期以及空间段与地面段之间的耦合决策，仍阻碍了不同段落计算代理进行联合优化设计。为此，本文发展了一种用于实现 NTN 中无线资源优化的多时间尺度深度强化学习 (DRL) 框架，其中 LEO 卫星与用户设备 (UE) 相互协作，执行具有不同控制周期的各自决策任务。具体而言，UE 更新其策略以提高卫星和 UE 的价值函数，而 LEO 卫星仅基于由 UE 提供的参考决策轨迹进行有限步展望来做出决策。最重要的是，本文提供了对所提出方案性能收敛性的严格分析。进行了大量仿真实验，证明该方案在平衡传输性能和计算复杂度方面的有效性。
引用
@article{arxiv.2402.04865,
title = {Collaborative Computing in Non-Terrestrial Networks: A Multi-Time-Scale Deep Reinforcement Learning Approach},
author = {Yang Cao and Shao-Yu Lien and Ying-Chang Liang and Dusit Niyato and Xuemin and Shen},
journal= {arXiv preprint arXiv:2402.04865},
year = {2024}
}