基于深度强化学习的智能反射面配置用于智能无线环境
信号处理
2022-05-12 v1
摘要
智能反射面（IRS）被设想将无线通信范式从“适应无线信道”转变为“改变无线信道”。然而，当前的 IRS 配置方案由子信道估计与无源波束赋形顺序组成，遵循传统的基于模型的设计理念，在复杂无线环境中难以实际实现。为创造智能无线环境，我们提出一种无模型的 IRS 控制设计，其独立于子信道信道状态信息（CSI），且需要 IRS 与无线通信系统之间最小的交互。我们首先将 IRS 控制建模为马尔可夫决策过程（MDP），并应用深度强化学习（DRL）执行 IRS 的实时粗相位控制。然后，我们应用极值搜索控制（ESC）作为 IRS 的细相位控制。最后，通过更新帧结构，我们将 DRL 与 ESC 集成于 IRS 的无模型控制中，以提升其对不同信道动态的适应性。数值结果展示了我们所提联合 DRL 与 ESC 方案的优越性，并验证了其在无子信道 CSI 的无模型 IRS 控制中的有效性。
引用
@article{arxiv.2205.05269,
title = {Intelligent Reflecting Surface Configurations for Smart Radio Using Deep Reinforcement Learning},
author = {Wei Wang and Wei Zhang},
journal= {arXiv preprint arXiv:2205.05269},
year = {2022}
}
备注
Accepted in IEEE Journal on Selected Areas in Communications (Special Issue on Machine Learning in Communications and Networks). The source code for this paper is available at: https://github.com/WeiWang-WYS/IRSconfigurationDRL