面向有限 CSI 下太赫兹波束搜索的联邦深度强化学习
人工智能
2023-04-27 v1 机器学习
摘要
具有超宽可用频谱的太赫兹（THz）通信是一项有前景的技术，可满足下一代无线网络中高数据速率的严苛要求，然而其严重的传播衰减显著阻碍了实际部署。为大规模天线阵列寻找波束方向以有效克服 THz 信号的严重传播衰减是迫切需求。本文提出一种联邦深度强化学习（FDRL）新方法，用于在蜂窝网络中由边缘服务器协调多个基站（BS）以快速执行 THz 波束搜索。所有 BS 基于深度确定性策略梯度（DDPG）开展 DRL，在有限信道状态信息（CSI）下获取 THz 波束赋形策略。它们利用隐藏信息更新各自的 DDPG 模型，以缓解小区间干扰。我们证明，随着采用更多 THz CSI 与 DDPG 隐藏神经元，小区网络可实现更高吞吐量。我们还表明，采用部分模型更新的 FDRL 几乎能达到全模型更新 FDRL 的同等性能，这意味着可通过部分模型上传来降低边缘服务器与 BS 间通信负载的有效手段。此外，所提 FDRL 优于传统的非基于学习的方法及已有的非 FDRL 基准优化方法。
引用
@article{arxiv.2304.13109,
title = {Federated Deep Reinforcement Learning for THz-Beam Search with Limited CSI},
author = {Po-Chun Hsu and Li-Hsiang Shen and Chun-Hung Liu and Kai-Ten Feng},
journal= {arXiv preprint arXiv:2304.13109},
year = {2023}
}