学习充电:通过深度强化学习的无人机覆盖路径规划
机器人学
2024-10-28 v2 机器学习
摘要
覆盖路径规划(CPP)是机器人学中的关键问题,其目标是找到一条高效路径以覆盖感兴趣区域中的每个点。本工作解决了电池受限无人 aerial vehicles (UAVs)的带充电功率约束CPP问题。在该问题中,一个显著挑战源于将充电行程整合进整体覆盖策略,凸显了制定战略性长期决策的复杂任务。我们提出了一种新颖的基于近端策略优化(PPO)的深度强化学习(DRL)方法,具有基于地图的观测,利用动作掩码与折扣因子调度在整个任务周期内优化覆盖轨迹。我们进一步为智能体提供位置历史以处理由充电能力引起的涌现状态循环。我们的方法优于基线启发式算法,可泛化至不同目标区域与地图,对未见地图的泛化能力有限。我们为长周期问题的DRL算法设计提供了有价值的见解,并给出了一个公开可用的CPP问题软件框架。
引用
@article{arxiv.2309.03157,
title = {Learning to Recharge: UAV Coverage Path Planning through Deep Reinforcement Learning},
author = {Mirco Theile and Harald Bayerlein and Marco Caccamo and Alberto L. Sangiovanni-Vincentelli},
journal= {arXiv preprint arXiv:2309.03157},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication