CognitiveDrone：面向无人机实时认知任务解决与推理的 VLA 模型与评估基准
机器人学
2025-03-04 v1
摘要
本文介绍了 CognitiveDrone，这是一个面向复杂无人机任务、要求先进认知能力的视觉-语言-动作（VLA）模型。该模型基于超过 8000 条模拟飞行轨迹的训练数据集（涵盖人类识别、符号理解与推理三个关键类别），生成基于第一人称视觉输入和文本指令的实时 4 维动作命令。为提升在复杂情景下的性能，我们提出的 CognitiveDrone-R1 集成了额外的视觉-语言模型（VLM）推理模块，以简化高频控制前的任务指令。使用开源基准测试 CognitiveDroneBench 进行的实验评估显示， racing 导向模型（RaceVLA）整体成功率为 31.3%，基础 CognitiveDrone 模型达到 59.6%，而 CognitiveDrone-R1 达到 77.2%。这些结果显示，在关键认知任务中提升了最高 30%，凸显了在无人机控制系统中融入先进推理能力的有效性。我们的贡献包括开发用于无人机控制的前沿 VLA 模型，以及引入首个用于评估无人机操作中认知任务的专用基准。完整代码库已于 cognitivedrone.github.io 提供。
关键词
引用
@article{arxiv.2503.01378,
title = {CognitiveDrone: A VLA Model and Evaluation Benchmark for Real-Time Cognitive Task Solving and Reasoning in UAVs},
author = {Artem Lykov and Valerii Serpiva and Muhammad Haris Khan and Oleg Sautenkov and Artyom Myshlyaev and Grik Tadevosyan and Yasheerah Yaqoot and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2503.01378},
year = {2025}
}
备注
Paper submitted to the IEEE conference