网络辅助全双工无蜂窝毫米波网络：混合MIMO处理与基于多智能体DRL的功率分配

本文研究了网络辅助全双工（NAFD）无蜂窝毫米波网络，其中发送接入点（T-APs）和接收接入点（R-APs）分布在不同的地理位置，以减轻交叉链路干扰，从而实现真正灵活的双工模式。为了降低毫米波频段操作的部署成本和功耗，每个AP都采用了包含预编码器/组合器功能的混合数模结构。然而，这种引入增加了信道估计和预编码/组合设计的处理复杂性。在本文中，我们首先提出了一个混合多输入多输出（MIMO）处理框架，并推导了上行链路和下行链路可达速率的显式表达式。然后，我们构建了一个功率分配问题，以最大化加权和双向速率。为了解决这一非凸问题，我们为NAFD无蜂窝毫米波网络开发了一种协作多智能体深度强化学习（MADRL）算法，称为多智能体双延迟深度确定性策略梯度（MATD3）。具体而言，鉴于NAFD无蜂窝毫米波网络中上行链路和下行链路功率系数的紧密耦合性质，MATD3算法通过智能体与环境之间的交互学习过程来解决此类耦合冲突。最后，仿真结果验证了所提信道估计方法在混合MIMO处理范式内的有效性，并表明我们的MATD3算法优于多智能体深度确定性策略梯度（MADDPG）和传统功率分配策略。