主无人机供能辅助空中智能反射面辅助物联网网络的优化：一种基于选项的多智能体分层深度强化学习方法
系统与控制
2021-12-21 v1 机器学习
系统与控制
摘要
本文研究了一种由主无人机(MUAV)供能的物联网(IoT)网络，其中我们提出使用配备智能反射面(IRS)的可充电辅助无人机(AUAV)来增强来自MUAV的通信信号，并利用MUAV作为充电电源。在所提出的模型下，我们研究了这些能量受限无人机的最优协作策略，以最大化物联网网络的累积吞吐量。根据两架无人机之间是否存在充电，我们建立了两个优化问题。为求解这些问题，提出了两种多智能体深度强化学习(DRL)方法，即集中训练多智能体深度确定性策略梯度(CT-MADDPG)和多智能体深度确定性策略选项评论家(MADDPOC)。结果表明，CT-MADDPG可大幅降低对无人机硬件计算能力的要求，且所提出的MADDPOC能够支持连续动作域中的底层多智能体协作学习，相较于现有仅支持单智能体学习和离散动作的基于选项的分层DRL具有显著优势。
引用
@article{arxiv.2112.10630,
title = {Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach},
author = {Jingren Xu and Xin Kang and Ronghaixiang Zhang and Ying-Chang Liang and Sumei Sun},
journal= {arXiv preprint arXiv:2112.10630},
year = {2021}
}