NOMA辅助无人机网络中的多智能体强化学习蜂窝卸载
机器学习
2020-10-20 v1
摘要
提出了一种借助多架无人机（UAV）进行蜂窝卸载的新框架，同时在每架无人机上采用非正交多址（NOMA）技术以进一步提升无线网络的频谱效率。为最大化吞吐量，构建了三维（3D）轨迹设计与功率分配联合优化问题。由于地面移动用户被视为持续漫游，无人机需要根据用户移动及时重新部署。为解决这一相关的动态问题，首先采用基于K-means的聚类算法对用户进行周期划分；随后提出互深度Q网络（MDQN）算法以联合确定无人机的最优3D轨迹与功率分配。与传统DQN算法不同，MDQN算法借助状态抽象将多智能体经验输入共享神经网络，从而缩短训练时间。数值结果表明：1）所提MDQN算法能在较小约束下收敛，且在多智能体情形下比传统DQN算法收敛更快；2）NOMA增强的无人机网络可达和速率比正交多址（OMA）情形高23%；3）借助MDON算法设计无人机最优3D轨迹，网络的和速率相比采用圆形轨迹与2D轨迹分别获得142%和56%的增益。
引用
@article{arxiv.2010.09094,
title = {Multi-Agent Reinforcement Learning in NOMA-aided UAV Networks for Cellular Offloading},
author = {Ruikang Zhong and Xiao Liu and Yuanwei Liu and Yue Chen},
journal= {arXiv preprint arXiv:2010.09094},
year = {2020}
}