基于多智能体强化学习的去中心化空中操作吊装
机器人学
2025-11-06 v3 人工智能
多智能体系统
摘要
本文提出了首个实现 Micro-Aerial Vehicles（MAV）对吊装负载进行 6 自由度操作的去中心化方法。我们利用多智能体强化学习（MARL）为每个 MAV 训练一个外环控制策略。不同于现有利用集中式方案的控制器， Our 方法不需要全局状态、MAV 之间的通信，也不需要邻近 MAV 的信息。相反，代理人仅通过负载姿态观测进行隐式通信，从而实现高度可扩展性和灵活性。这还显著降低了推理期间的计算成本，使策略能够部署到 onboard 上。此外，我们引入了一种新的 MAV 动作空间设计，采用线性加速度和身体 rates。这种选择结合稳健的低层控制器，尽管由于动态 3D 运动中由 cable 拉力引起的显著不确定性，仍能实现可靠的 sim-to-real 迁移。我们在各种真实实验中验证了该方法，包括在负载模型不确定性下的全姿态控制，显示出与最先进的集中式方法相当的跟踪性能。我们还展示了代理人之间基于异构控制策略的合作，以及完全失去一架 MAV 时的鲁棒性。实验视频：https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl
引用
@article{arxiv.2508.01522,
title = {Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning},
author = {Jack Zeng and Andreu Matoses Gimenez and Eugene Vinitsky and Javier Alonso-Mora and Sihao Sun},
journal= {arXiv preprint arXiv:2508.01522},
year = {2025}
}