一种用于多-RIS多运营商网络资源优化的分层深度强化学习方法
系统与控制
2025-02-24 v2 系统与控制
摘要
随着可重构智能表面(RIS)作为即将到来的第六代(6G)网络中至关重要的技术而广泛部署，其在实际的多运营商(OP)网络中的部署 presents 诸多挑战，包括RIS配置在OP之间协调、干扰管理和隐私维护。一个有前景的策略是将RIS视为由RIS提供商(RP)管理的公共资源，通过允许多个OP动态访问来提高资源分配效率。然而，协调管理和优化RIS配置的复杂性显著增加了实现过程的难度。本文提出了一种分层深度强化学习(HDRL)方法，将复杂的RIS资源优化问题分解为多个子任务。具体而言，高层RP代理负责RIS分配，而低层OP代理控制其分配的RIS并处理波束赋形、RIS相位移位和用户关联。通过利用半马尔可夫决策过程(SMDP)理论，我们在RP与OP之间建立了精细的交互机制，并引入了一种高级分层近端策略优化(HPPO)算法。此外，我们提出了一种改进的序列HPPO(S-HPPO)算法，以解决单个RP代理在高维情况下的维度灾难。实验结果验证了HPPO算法在各种环境参数下的稳定性，证明其在联合资源优化方面优于其他基准方法。最后，我们对提出的S-HPPO和HPPO算法进行了详细的比较分析，表明S-HPPO算法在大规模RIS分配场景中实现了更快的收敛和 improved 性能。
引用
@article{arxiv.2410.12320,
title = {A Hierarchical DRL Approach for Resource Optimization in Multi-RIS Multi-Operator Networks},
author = {Haocheng Zhang and Wei Wang and Hao Zhou and Zhiping Lu and Ming Li},
journal= {arXiv preprint arXiv:2410.12320},
year = {2025}
}