面向 STAR-RIS 的混合强化学习：基于耦合相移模型的波束成形器
系统与控制
2022-05-11 v1 系统与控制
信号处理
摘要
研究了同时透射与反射可重构智能表面（STAR-RIS）辅助的多用户下行多输入单输出（MISO）通信系统。与现有假设独立透射与反射相移控制的理想 STAR-RIS 模型不同，本文考虑了一种实用的耦合相移模型。随后，以耦合相移约束与最小数据速率约束为条件，构建了最小化长期传输功耗的联合主动与被动波束成形优化问题。尽管相移模型具有耦合特性，该问题通过引入一种连续与离散相移混合控制策略得以求解。受此启发，提出了一对混合强化学习（RL）算法，即混合深度确定性策略梯度（hybrid DDPG）算法与基于 DDPG 和深度 Q 网络（DDPG-DQN）的联合算法。混合 DDPG 算法借助混合动作映射来控制相关的高维连续与离散动作。相比之下，联合 DDPG-DQN 算法依托内部与外部环境构建两个马尔可夫决策过程（MDPs），从而融合两个智能体以完成联合混合控制。仿真结果表明，STAR-RIS 在能耗方面优于其他传统 RIS。此外，两种所提算法均优于基线 DDPG 算法，且联合 DDPG-DQN 算法取得了更优性能，尽管计算复杂度有所增加。
引用
@article{arxiv.2205.05029,
title = {Hybrid Reinforcement Learning for STAR-RISs: A Coupled Phase-Shift Model Based Beamformer},
author = {Ruikang Zhong and Yuanwei Liu and Xidong Mu and Yue Chen and Xianbin Wang and Lajos Hanzo},
journal= {arXiv preprint arXiv:2205.05029},
year = {2022}
}