认知空地网络中的用户关联与协作波束成形：一种安全强化学习方法
信息论
2025-02-20 v1 信号处理
math.IT
摘要
认知空地网络（CATN）通过在空中网络与地面网络之间共享频谱，为频谱稀缺提供了一种解决方案。然而，空中用户（AU）会受到来自大量地面基站（BS）的严重干扰。为缓解此类干扰，我们在 CATN 中研究了用户关联与协作波束成形（CBF）问题，其中空中网络作为主网络将其频谱与地面网络共享。具体而言，我们在 AU 的干扰温度约束下，最大化次级地面用户（TU）的和速率。传统的迭代优化方案由于计算复杂度高和信息交换开销大而不切实际。尽管基于深度强化学习（DRL）的方案能够应对这些挑战，但其性能对奖励函数中违反约束的加权惩罚项的权重非常敏感。受这些问题启发，我们提出了一种基于安全 DRL 的 CATN 用户关联与 CBF 方案，消除了在实际部署前多次训练以寻找最优惩罚权重的需要。具体而言，CATN 被建模为一个网络化受约束部分可观测马尔可夫博弈。每个 TU 作为一个智能体选择其关联的 BS，每个 BS 作为一个智能体决定其波束成形向量，旨在最大化奖励的同时满足由 AU 干扰约束引入的安全约束。通过利用安全 DRL 算法，所提方案在实际部署前仅需一次训练，因此其部署成本低于基于惩罚的 DRL 方案。仿真结果表明，与两阶段优化方案相比，所提方案能够实现更高的 TU 和速率，同时 AU 的平均接收干扰功率通常低于阈值。
引用
@article{arxiv.2502.13663,
title = {User Association and Coordinated Beamforming in Cognitive Aerial-Terrestrial Networks: A Safe Reinforcement Learning Approach},
author = {Zizhen Zhou and Jungang Ge and Ying-Chang Liang},
journal= {arXiv preprint arXiv:2502.13663},
year = {2025}
}
备注
This work has been submitted to the IEEE for possible publication