视觉无人机集群协同目标搜索：一种自适应课程嵌入多阶段强化学习方法
机器人学
2023-11-28 v3 人工智能
摘要
为无人机配备目标搜索能力在灾害救援与智能仓储配送系统中极具应用价值。能够相互协作并在障碍物间机动的多智能体无人机，可更短时间高效地完成任务。然而，在缺乏先验目标信息的情况下开展协同目标搜索（CTS）极具挑战，尤其是使用视觉无人机集群时。本工作中，我们提出一种名为自适应课程嵌入多阶段学习（ACEMSL）的新型数据高效深度强化学习（DRL）方法以应对这些挑战，主要是有限视觉感知与协作行为需求下的三维稀疏奖励空间探索。具体而言，我们将CTS任务分解为个体避障、目标搜索和智能体间协作等若干子任务，并通过多阶段学习逐步训练智能体。同时，我们设计了自适应嵌入课程（AEC），其任务难度等级（TDL）可根据训练中达成的成功率（SR）自适应调整。ACEMSL实现了视觉无人机集群的数据高效训练与个体-团队奖励分配。此外，我们将训练好的模型部署于真实视觉无人机集群，并在无需微调的情况下执行CTS任务。大量仿真与真实飞行测试验证了ACEMSL的有效性与泛化能力。项目见 https://github.com/NTU-UAVG/CTS-visual-drone-swarm.git。
引用
@article{arxiv.2204.12181,
title = {Collaborative Target Search with a Visual Drone Swarm: An Adaptive Curriculum Embedded Multistage Reinforcement Learning Approach},
author = {Jiaping Xiao and Phumrapee Pisutsin and Mir Feroskhan},
journal= {arXiv preprint arXiv:2204.12181},
year = {2023}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems