基于因果关系的联合通信与感知强化学习

下一代无线网络（6G 及以上）规划将通信与感知集成，以克服干扰、提高频谱效率并减少硬件和能耗。基于巨型多输入多输出（mMIMO）的联合通信与感知（JCAS）系统实现了这一集成，适用于需要精准环境感知和与相邻车辆进行时间敏感通信的自动驾驶等 6G 应用。文献中已使用强化学习（RL）进行 mMIMO 天线波束赋形。然而，与天线波束相关联的动作空间庞大，导致 RL 代理的学习过程因高波束训练开销而效率低下。学习过程未考虑动作空间与奖励之间的因果关系，使所有动作获得相同的重要性。在本工作中，我们探索了一种具备因果感知能力的 RL 代理，能够在训练阶段干预并发现 mMIMO 基于 JCAS 环境中的因果关系。我们采用基于状态的动作维度选择策略来实现 RL 基于 JCAS 的因果发现。我们在不同的 JCAS 场景中评估了具备因果感知的 RL 框架，结果表明该框架相对于基线方法在波束增益方面具有显著优势。