面向多样化环境中多无人机追逃博弈的双课程学习框架
机器学习
2024-05-01 v2 多智能体系统
摘要
本文研究多无人机追逃问题，即一组无人机在存在障碍物的受限环境中协作捕获快速逃跑者。现有的简化追逃问题的启发式算法通常缺乏富有表达力的协调策略，在逃跑者高速移动等极端场景下难以完成捕获。相比之下，强化学习 (RL) 已被应用于该问题，并具有获得高度协作捕获策略的潜力。然而，由于庞大的探索空间，基于 RL 的方法在具有多样化任务设置的复杂三维场景训练中面临挑战。无人机的动力学约束进一步限制了强化学习获取高性能捕获策略的能力。在本工作中，我们引入了一个名为 DualCL 的双课程学习框架，用于解决多样化环境中的多无人机追逃问题，并展示了对未见场景的零样本迁移能力。DualCL 包含两个主要组件：内在参数课程提议器，它从易到难逐步建议内在参数以提高无人机的捕获能力；以及外部环境生成器，负责探索未解决的场景并生成合适的外部环境参数训练分布。仿真实验结果表明，DualCL 显著优于基线方法，在训练场景中实现了超过 90% 的捕获率，并将捕获时间步减少了至少 27.5%。此外，它在未见环境中表现出最佳的零样本泛化能力。此外，我们展示了我们的追逃策略从仿真到真实世界环境的可迁移性。更多详情请访问项目网站 https://sites.google.com/view/dualcl。
引用
@article{arxiv.2312.12255,
title = {A Dual Curriculum Learning Framework for Multi-UAV Pursuit-Evasion in Diverse Environments},
author = {Jiayu Chen and Guosheng Li and Chao Yu and Xinyi Yang and Botian Xu and Huazhong Yang and Yu Wang},
journal= {arXiv preprint arXiv:2312.12255},
year = {2024}
}