Openfly：面向空中视觉语言导航的综合平台
计算机视觉与模式识别
2026-03-03 v7 机器人学
摘要
视觉语言导航 (VLN) 旨在利用语言指令和视觉线索来指导智能体，在具象化 AI 中发挥着关键作用。虽然室内 VLN 已得到广泛研究，但户外空中 VLN 仍鲜有探索。其潜在原因在于，户外空中视角涵盖的区域广泛，数据收集更具挑战性，导致缺乏基准数据集。为此，我们提出 OpenFly，一个包括多种渲染引擎、灵活工具链和大规模基准数据集的平台。首先，我们整合了多种渲染引擎和先进技术进行环境仿真，包括 Unreal Engine、GTA V、Google Earth 和 3D 高斯溅射 (3D GS)。其中，3D GS 支持真实到仿真的渲染，进一步提升了环境的真实性。其次，我们开发了用于空中 VLN 数据收集的高度自动化工具链，简化了点云获取、场景语义分割、飞行轨迹创建和指令生成等流程。第三，基于该工具链，我们构建了一个大规模的空中 VLN 数据集，包含 10 万条轨迹，覆盖 18 个场景中的多样高度和长度。此外，我们提出 OpenFly-Agent，一种注重飞行期间关键观察的 VLN 模型。对于基准测试，进行了广泛的实验和分析，评估了多个最新的 VLN 方法，展示了 OpenFly 平台和智能体的优势。该工具链、数据集和代码将开源发布。
引用
@article{arxiv.2502.18041,
title = {Openfly: A comprehensive platform for aerial vision-language navigation},
author = {Yunpeng Gao and Chenhui Li and Zhongrui You and Junli Liu and Zhen Li and Pengan Chen and Qizhi Chen and Zhonghan Tang and Liansheng Wang and Penghui Yang and Yiwen Tang and Yuhang Tang and Shuai Liang and Songyi Zhu and Ziqin Xiong and Yifei Su and Xinyi Ye and Jianan Li and Yan Ding and Dong Wang and Xuelong Li and Zhigang Wang and Bin Zhao},
journal= {arXiv preprint arXiv:2502.18041},
year = {2026}
}
备注
accepted by ICLR 2026