面向空中 STAR-RIS 通信的双角色 DDPG 算法

本研究不同于目前在空中双向可重构智能表面（STAR-RIS）研究中假设传输系数与反射系数独立的常规做法, 而是探索一种新型多用户下行通信系统, 利用载载无人机（UAV）安装的 STAR-RIS（空中 STAR-RIS）并采用耦合的 TRC 相位移模型。我们的主要贡献包括: 在考虑无人机能源约束的前提下, 对无人机轨迹、基站主动波束成形向量以及被动 RIS 的 TRC 进行联合优化, 以提升通信效率。我们将 TRC 设计为离散动作与连续动作的组合, 并提出一种新颖的双角色深度确定性策略梯度（DA-DDPG）算法。该算法依赖两个独立的演员网络以处理高维混合动作空间。我们还提出一种基于谐和均值指数（HFI）的奖励函数, 以确保用户间的通信公平性。为进行全面分析, 我们研究了 RIS 尺寸对无人机空气动力学的影响, 结果显示其会增加阻力和能源需求。仿真结果表明, 所提出的 DA-DDPG 算法在累积奖励方面分别比传统 DDPG 和 DQN 方案分别高出 24% 和 97%。三维无人机轨迹优化相较于二维轨迹和高度优化, 实现了 28% 的通信效率提升。基于 HFI 的奖励函数相较于其他基准方案, 将 QoS 否决率降低 41%。移动的空中 STAR-RIS 系统相较于固定部署的对手表现更佳, 其中耦合相位 STAR-RIS 优于双传输/反射 RIS 和传统 RIS 布局。这些发现凸显了空中 STAR-RIS 系统的潜力, 以及我们所提出 DA-DDPG 方法在优化其性能方面的有效性。