基于多智能体强化学习的异构小型无人机编队间分离保证
多智能体系统
2026-05-11 v3 人工智能
计算机科学与博弈论
机器学习
机器人学
摘要
在设想中密集的城市空域中，多个公司将运营由异构小型无人机编队(sUASs)组成的飞行系统，其中每个编队包括若干具有相同策略和配置的同质飞机，如装备、感知和通信范围，这使得飞行员进行战术分离高度复杂。本文旨在回答两个核心问题：(1) 在公司运营异构小型无人机编队时，战术分离策略是否可以收敛或达到均衡，以确保无冲突的空域？(2) 如果可以，收敛后的策略是否会歧视配置较弱的sUASs所属公司？我们在多智能体强化学习范式下进行研究，其中异构编队内的同质飞机同时执行达拉斯, 美国, 的包裹递送任务。采用注意力增强的基于 Proximal Policy Optimization 的 Advantage Actor-Critic (PPOA2C) 框架以解决内部和编队间的冲突，每个编队独立训练其策略，同时保持隐私。实验结果表明，两个具有不同、共享 PPOA2C 策略的编队可以达到均衡，以维持安全分离。虽然两个 PPOA2C 策略在冲突解决方面优于两个强规则基线，但 PPOA2C 策略在与规则基线策略相互作用时表现更安全，表明 PPOA2C 策略具有自适应能力。此外，我们进行了大量的策略-配置评估，结果显示，类似策略类型的均衡倾向于偏好配置较强的编队。即使在相似配置但不同策略类型下，均衡也倾向于偏好其中一种异构策略，凸显了在异构sUAS 操作中需要公平感知的冲突管理。
引用
@article{arxiv.2605.01041,
title = {Separation Assurance between Heterogeneous Fleets of Small Unmanned Aerial Systems via Multi-Agent Reinforcement Learning},
author = {Iman Sharifi and Hyeong Tae Kim and Maheed Hatem Ahmed and Mahsa Ghasemi and Peng Wei},
journal= {arXiv preprint arXiv:2605.01041},
year = {2026}
}
备注
8 pages, 3 figure, 1 table