OpenAD：面向3D目标检测的开放世界自主驾驶基准
计算机视觉与模式识别
2025-05-27 v2
摘要
开放世界感知旨在开发适应新领域、各种传感器配置并能理解不寻常对象和边界情况的模型。然而，当前研究缺乏足够全面的开放世界3D感知基准以及稳健的可泛化方法。本文引入 OpenAD，即第一个为3D目标检测构建的真实开放世界自主驾驶基准。OpenAD 基于一种集成多模态大语言模型（MLLM）的 corner case 发现和标注管线构建。该管线以统一格式标注五个自主驾驶感知数据集中的 corner case 对象，涵盖 2000 个场景。此外，我们设计了评估方法并评估了各种开放世界和专用2D和3D模型。我们还提出了一种以视觉为中心的3D开放世界目标检测基线，并进一步引入一种通过融合通用模型和专用模型来解决现有开放世界方法在 OpenAD 数据集上精度较低的问题的方法。我们在 EvalAI 上举办了线上挑战赛。数据、工具包代码和评估代码均已公开于 https://github.com/VDIGPKU/OpenAD。
引用
@article{arxiv.2411.17761,
title = {OpenAD: Open-World Autonomous Driving Benchmark for 3D Object Detection},
author = {Zhongyu Xia and Jishuo Li and Zhiwei Lin and Xinhao Wang and Yongtao Wang and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2411.17761},
year = {2025}
}