基于数字孪生辅助的细�ULAR MASSIVE MIMO 系统下 ISAC 高效波束选择中的深度强化学习
新兴技术
2026-01-21 v2 机器学习
摘要
波束赋形通过聚焦能量于特定方向来增强信号强度和质量。这一能力在细�ULAR MASSIVE MIMO 系统下的集成感知与通信（ISAC）系统中尤为关键，其中多个分布式接入点（AP）协作提供通信与感知服务。本文首先推导在虚假警报率约束下，多个接收APs 联合目标检测概率的分布，然后将波束选择程序建模为马尔可夫决策过程（MDP）。我们建立深度强化学习（DRL）框架，其中引入奖励塑形和正弦嵌入以促进智能体学习。为消除实时智能体-环境交互的高成本及其潜在风险，我们进一步提出一种新型数字孪生（DT）辅助的离线 DRL 方法。不同于传统在线 DRL，设计一个基于条件生成对抗网络（cGAN）的 DT 模块，作为现实世界的副本，精心设计以生成虚拟状态-动作转移对并丰富数据多样性，实现对智能体策略的离线调整。此外，我们通过在损失函数设计中引入额外惩罚项来解决分布外问题。我们理论上推导了智能体-DT 交互的收敛性以及 Q 误差函数的上界。数值结果表明，我们提出的方法在显著降低在线交互开销的同时，在包括严格虚假警报控制、低信噪比和高目标速度等多种条件下保持有效的波束选择能力。
引用
@article{arxiv.2506.18560,
title = {Efficient Beam Selection for ISAC in Cell-Free Massive MIMO via Digital Twin-Assisted Deep Reinforcement Learning},
author = {Jiexin Zhang and Shu Xu and Chunguo Li and Yongming Huang and Luxi Yang},
journal= {arXiv preprint arXiv:2506.18560},
year = {2026}
}
备注
Accepted for publication in IEEE Transactions on Wireless Communications. This version includes minor revisions