AeroVerse: 用于模拟、预训练、微调和评估航空具身世界模型的 UAV-智能体基准套件
机器人学
2025-11-24 v2 人工智能
摘要
航空具身智能旨在使无人机 (UAV) 和其他航空平台实现自主感知、认知和行动，以及与人类和环境之间的中心化主动交互。航空具身世界模型是实现 UAV 自主智能的有效手段，也是实现航空具身智能的必要路径。然而，现有的具身世界模型主要关注室内场景中地面智能体，而 UAV 智能体的研究尚未得到探索。为此，我们构建了第一个大规模真实世界图像-文本预训练数据集 AerialAgent-Ego10k，包含来自无人机的第一人称视角。我们还创建了一个虚拟图像-文本-姿态对齐数据集 CyberAgent Ego500k，以促进航空具身世界模型的预训练。首次明确定义了5个下游任务，即航空具身场景意识、空间推理、导航探索、任务规划和运动决策，并构建相应的指令数据集 SkyAgent-Scene3k、SkyAgent-Reason3k、SkyAgent-Nav3k、SkyAgent-Plan3k 和 SkyAgent-Act3k，用于微调航空具身世界模型。同时，我们开发了 SkyAgentEval，基于 GPT-4 的下游任务评估指标，用于全面、灵活且客观地评估结果，揭示了 2D/3D 视觉语言模型在 UAV-智能体任务中的潜力和局限性。此外，我们将超过10个 2D/3D 视觉语言模型、2个预训练数据集、5个微调数据集、超过10个评估指标和一个模拟器集成到基准套件中，即 AeroVerse，该基准套件将向社区发布，以推动航空具身智能的探索与发展。
引用
@article{arxiv.2408.15511,
title = {AeroVerse: UAV-Agent Benchmark Suite for Simulating, Pre-training, Finetuning, and Evaluating Aerospace Embodied World Models},
author = {Fanglong Yao and Yuanchang Yue and Youzhi Liu and Xian Sun and Kun Fu},
journal= {arXiv preprint arXiv:2408.15511},
year = {2025}
}