面向城市空间中自主无人机视觉目标搜索：基准数据集与智能方法
计算机视觉与模式识别
2025-05-15 v2 人工智能
摘要
城市环境中的空中视觉目标搜索（AVOS）任务需要无人机（UAV）在没有外部引导的情况下，使用视觉和文本线索自主搜索和识别目标对象。现有方法在复杂城市环境中难以应对，由于存在冗余的语义处理、相似目标区分难题以及探索-开发平衡问题。为弥合这一差距并支持AVOS任务，我们引入了CityAVOS——首个针对常见城市目标自主搜索的数据集。该数据集涵盖2420个任务，分为六个目标类别，难度各异，能够全面评估无人机代理人的搜索能力。为解决AVOS任务，我们还提出了PRPSearcher（感知-推理-规划搜索器），一种由多模态大语言模型（MLLM）驱动的新型智能方法，其三级认知机制模仿人类。具体而言，PRPSearcher构建了三个专门的地图：一种以目标为中心的动态语义地图以增强空间感知，一种基于语义吸引值构建的3D认知地图用于目标推理，以及一种用于平衡探索-开发搜索的3D不确定性地图。此外，我们的方法还融入了去噪机制以减轻相似目标的干扰，并利用激发促进思考（IPT）提示机制实现自适应动作规划。在CityAVOS上的实验结果表明，PRPSearcher在成功率和搜索效率方面均优于现有基线（平均提升37.69%的成功率，提高28.96%的搜索路径比例，降低30.69%的平均漂移距离，降低46.40%的搜索次数）。尽管已取得有希望的进展，但与人类的表现相比仍存在差距，这凸显了在AVOS任务中需要更好的语义推理和空间探索能力的挑战。本工作为未来的 embodied 目标搜索奠定了基础。数据集和源代码均可在 https://anonymous.4open.science/r/CityAVOS-3DF8 获取。
引用
@article{arxiv.2505.08765,
title = {Towards Autonomous UAV Visual Object Search in City Space: Benchmark and Agentic Methodology},
author = {Yatai Ji and Zhengqiu Zhu and Yong Zhao and Beidan Liu and Chen Gao and Yihao Zhao and Sihang Qiu and Yue Hu and Quanjun Yin and Yong Li},
journal= {arXiv preprint arXiv:2505.08765},
year = {2025}
}