蜂窝连接无人机的无线资源管理：一种学习方法

将无人机（UAV）集成到现有蜂窝网络中面临诸多挑战，其中最引人关注的问题之一是如何实现空中收发器（尤其是无人机）与地面用户设备（UE）的和谐共存。本文关注一种蜂窝连接无人机网络，其中多架无人机在下行链路中从基站（BS）接收消息，而基站在各自小区内服务于地面UE。为有效管理因时频资源块（RB）资源密集复用导致的UE间小区间干扰（ICI），提出并采用了一种基于第一$p$层的RB协调准则。进而，为提升无人机无线传输质量同时保护地面UE免受地空（G2A）传输干扰，研究了以最小化无人机遍历中断时长（EOD）为目标的联合动态RB协调与时变波束成形设计的无线资源管理（RRM）问题。针对传统优化技术求解上述RRM问题效率低下，提出了一种深度强化学习（DRL）辅助方案，其中分别调用深度双重决斗Q网络（D3QN）与双延迟深度确定性策略梯度（TD3）处理离散动作域的RB协调与连续动作域的波束成形设计。所提混合D3QN-TD3方案通过以在线集中方式与所考虑的外、内环境交互进行训练，从而能在离线分散利用阶段实现次优的EOD最小化性能。仿真结果相较若干代表性基线，表明了所提混合D3QN-TD3算法的有效性。