SREC: 基于深度强化学习的能量受限无人机网络主动自愈
机器学习
2020-09-21 v1 系统与控制
信号处理
系统与控制
摘要
多无人机(unmanned aerial vehicles, UAVs)的能量感知控制是无人机组网中的主要研究方向之一。然而现有工作很少关注当无人机编队发生变动时网络应如何应对。本文研究当一架或多架无人机能量不足并即将退出充电时,能量受限无人机网络的主动自愈问题。我们的目标是一种能量感知的最优无人机控制策略,该策略在任何无人机即将退出网络时主动重新部署无人机,而非在退出后被动调度剩余无人机。具体地,提出一种基于深度强化学习(deep reinforcement learning, DRL)的自愈方法,称为 SREC-DRL,以在至少有一架无人机将退出网络的特定时段内最大化累积用户满意度得分。为处理该问题中的连续状态与动作空间,采用了 actor-critic DRL 的先进算法,即深度确定性策略梯度(deep deterministic policy gradient, DDPG),具有更好的收敛稳定性。数值结果表明,与被动反应方法相比,所提 SREC-DRL 方法在自愈期间的累积用户满意度得分有 的提升。
引用
@article{arxiv.2009.08528,
title = {SREC: Proactive Self-Remedy of Energy-Constrained UAV-Based Networks via Deep Reinforcement Learning},
author = {Ran Zhang and Miao Wang and Lin X. Cai},
journal= {arXiv preprint arXiv:2009.08528},
year = {2020}
}
备注
6 pages, IEEE Global Communications Conference, 7-11 December 2020, Taipei, Taiwan