桥接视角：基于基础模型引导的鸟瞰图用于3D目标检测与跟踪
计算机视觉与模式识别
2025-10-14 v1 机器人学
摘要
基于摄像机的3D目标检测与跟踪是自动驾驶感知中的关键技术。当前最先进的方法往往仅依赖极端视图(PV)或鸟瞰视角(BEV)特征，限制了其同时利用细粒度目标细节和空间结构场景表示的能力。本文提出DualViewDistill，一种融合PV与BEV摄像机图像特征的混合检测跟踪框架，以利用两者的互补优势。我们的方案引入由基础模型引导的BEV地图，利用描述性DINOv2特征通过新颖的蒸馏过程转化为BEV表示。通过将PV特征与从DINOv2中提取的语义与几何特征丰富的BEV地图集成，我们的模型通过可变形聚合利用这种混合表示，以增强3D目标检测与跟踪。在nuScenes和Argoverse 2基准测试上进行了广泛实验，表明DualViewDistill实现了最先进的性能。结果展示了基础模型BEV地图为自动驾驶提供更可靠感知的潜力。我们在https://dualviewdistill.cs.uni-freiburg.de 公开代码和预训练模型。
引用
@article{arxiv.2510.10287,
title = {Bridging Perspectives: Foundation Model Guided BEV Maps for 3D Object Detection and Tracking},
author = {Markus Käppeler and Özgün Çiçek and Daniele Cattaneo and Claudius Gläser and Yakov Miron and Abhinav Valada},
journal= {arXiv preprint arXiv:2510.10287},
year = {2025}
}