利用海上夺旗赛评估对抗环境中的协同自主性

本工作的目标是评估多智能体人工智能方法在对抗环境中部署于无人水面艇（USV）团队时的表现。使用 Aquaticus 测试平台在真实场景中对自主智能体进行了评估，这是一个涉及 USV 系统团队的夺旗（CTF）式竞赛。基于行为优化和深度强化学习（RL）的各种基础的合作团队算法被部署在这些 USV 系统上，组成二对二的团队，并在 2023 年秋季的竞赛期间相互对抗测试。应用于 USV 智能体的深度强化学习是通过 Pyquaticus 测试平台实现的，这是一个轻量级的 gymnasium 环境，允许在低层环境中进行模拟 CTF 训练。实验结果表明，在这些竞赛的实施中，基于行为的智能体的规则式合作优于在深度强化学习范式中训练的智能体。在配置和控制模式方面进一步将用于 RL 的 Pyquaticus gymnasium 环境与 MOOS-IvP 集成，将允许在未来的研究中进行更具竞争力的 CTF 游戏。随着实验性深度 RL 方法的不断发展，作者预期基于行为的自主性与深度 RL 之间的竞争差距将会缩小。因此，本报告概述了整体竞赛、方法和结果，并重点关注未来的工作，如奖励塑造和从仿真到现实的方法，以及扩展智能体之间的规则式合作，以根据人类专家执行安全和安保过程的意图/规则对安全和安保事件做出反应。