利用先前遍历点云地图先验进行基于相机的3D目标检测与跟踪
计算机视觉与模式识别
2026-04-29 v1 机器人学
摘要
基于相机的3D目标检测与跟踪是自动驾驶的核心，但在推理时若无昂贵且深度信息丰富的在线 LiDAR，精确的3D目标定位仍从根本上受限于深度模糊性。然而在许多部署场景中，车辆会反复遍历相同的环境，使得来自先前遍历的静态点云地图成为几何先验的实用来源。我们提出了 DualViewMapDet，这是一个纯相机推理框架，能够在线检索此类地图先验并利用它们来弥补部署期间 LiDAR 传感器的缺失。其核心思想是采用双空间相机-地图融合策略，避免单视角转换。具体而言，我们 将地图投影到透视视图并编码多通道几何线索以丰富图像特征并支持 BEV 提升，以及 将地图直接在鸟瞰图中用稀疏体素主干网络进行编码，并在共享度量空间中与提升后的相机特征相融合。在 nuScenes 和 Argoverse 2 上的广泛评估表明，相较于强大的纯相机基线方法取得了持续的改进，在目标定位方面提升尤为显著。消融实验进一步验证了 PV/BEV 融合与先验地图覆盖率的贡献。我们在 https://dualviewmapdet.cs.uni-freiburg.de 公开了代码和预训练模型。
引用
@article{arxiv.2604.25405,
title = {Leveraging Previous-Traversal Point Cloud Map Priors for Camera-Based 3D Object Detection and Tracking},
author = {Markus Käppeler and Özgün Çiçek and Yakov Miron and Abhinav Valada},
journal= {arXiv preprint arXiv:2604.25405},
year = {2026}
}