基于多智能体深度强化学习的无人机协同波束赋形
网络与互联网体系结构
2024-04-12 v1 神经与进化计算
摘要
本文研究了一种无人机辅助的空对地通信系统，其中多架无人机形成一个无人机虚拟天线阵列(UVAA)，通过利用协同波束赋形与远程基站进行通信。为了提高UVAA的工作效率，我们构建了一个无人机协同波束赋形多目标优化问题(UCBMOP)，通过优化所有无人机的位置和激励电流权重，同时最大化UVAA的传输速率并最小化所有无人机的能耗。该问题具有挑战性，因为这两个优化目标相互冲突，并且对于优化变量是非凹的。此外，系统是动态的，无人机之间的协作复杂，使得传统方法需要花费大量时间为单个任务计算优化解。而且，随着任务的变化，先前获得的解将变得过时和无效。为了解决这些问题，我们利用多智能体深度强化学习(MADRL)来处理UCBMOP。具体来说，我们使用异质智能体信任域策略优化(HATRPO)作为基本框架，然后提出一种改进的HATRPO算法，即HATRPO-UCB，其中引入了三种技术来增强性能。仿真结果表明，与其他方法相比，所提出的算法能够学习到更好的策略。此外，大量实验也证明了所提技术的有效性。
引用
@article{arxiv.2404.07453,
title = {UAV-enabled Collaborative Beamforming via Multi-Agent Deep Reinforcement Learning},
author = {Saichao Liu and Geng Sun and Jiahui Li and Shuang Liang and Qingqing Wu and Pengfei Wang and Dusit Niyato},
journal= {arXiv preprint arXiv:2404.07453},
year = {2024}
}
备注
This paper has been submitted to IEEE Transactions on Mobile Computing