基于数字孪生的深度强化学习用于 MU-MIMO 系统的智能全向表面配置
摘要
智能全向表面（IOS）是一种旨在通过同时反射和折射入射信号来增强无线网络容量的有前景技术。传统的 IOS 配置方案依赖于所有子信道的信道状态信息以及用户设备的移动性，在复杂现实系统中难以实现。现有研究尝试采用深度强化学习（DRL）来解决此问题，但该方法需要大量与外部环境的试错交互才能获得高效结果，因而无法满足实时决策需求。为实现无模型且实时的 IOS 控制，本文提出了一种新框架，将 DRL 与数字孪生相集成。首先开发了 DeepIOS—a 一种基于 DRL 的 IOS 配置方案，旨在最大化总数据速率，通过联合优化 MU-MIMO 系统中 IOS 的相位移位和幅度。随后，为进一步降低计算复杂度，DeepIOS 引入了动作分支架构，分别并行决定两个优化变量。最后，通过监督学习构建了一个数字孪生模块作为 DeepIOS 的预验证平台，以保证决策的实时性。该框架形成一个闭环系统，物理空间提供数据来建立和校准数字空间，而数字空间为 DeepIOS 训练生成经验样本，并将训练好的参数发送给 IOS 控制器进行配置。数值结果表明，与随机方案和 MAB 方案相比，本文提出的框架在获取更高的数据速率方面具有优势，并且对不同设置更具鲁棒性。此外，动作分支架构降低了 DeepIOS 的计算复杂度，数字孪生模块提高了收敛速度和运行时间。
引用
@article{arxiv.2412.18856,
title = {Digital Twin Enhanced Deep Reinforcement Learning for Intelligent Omni-Surface Configurations in MU-MIMO Systems},
author = {Xiaowen Ye and Xianghao Yu and Liqun Fu},
journal= {arXiv preprint arXiv:2412.18856},
year = {2024}
}
备注
Published in IEEE JIoT. Due to the limitation "The abstract field cannot be longer than 1,920 characters", the abstract appearing above is slightly shorter than that in the main PDF file