面向 3D 对象检测的神经渲染传感器适应
计算机视觉与模式识别
2025-08-19 v1
摘要
自动驾驶车辆常常具有不同的摄像头传感器配置，这是由于不同车辆类型的安装位置受限所导致的。将在特定配置上训练的感知模型评估于新的、不同传感器配置上，会导致所谓的跨传感器域间隙，通常导致准确率下降。本文我们调查了跨传感器域间隙对最先进 3D 对象检测器的影响。为此，我们引入 CamShift 数据集，灵感来自 nuScenes，使用 CARLA 创建以模拟子紧凑车辆与 SUV（运动型 SUV）之间的域间隙。使用 CamShift，我们展示了显著的跨传感器性能下降，确定了对模型架构的鲁健性依赖，并提出一种数据驱动的解决方案来缓解该效果。一方面，我们表明基于稠密鸟瞰图（BEV）表示并进行反向投影的数据模型（如 BEVFormer）对各种传感器配置最为稳健。另一方面，我们提出一种新颖的数据驱动传感器适应管道，基于神经渲染，可将整个数据集转换为匹配不同摄像头传感器配置。将其应用于所有所调查的 3D 对象检测器，可显著缓解跨传感器域间隙，并通过启用不同传感器配置车辆之间的高效数据可重用性，大幅减少新数据收集的需求。CamShift 数据集和传感器适应基准已在 https://dmholtz.github.io/camshift/ 提供。
引用
@article{arxiv.2508.12695,
title = {Neural Rendering for Sensor Adaptation in 3D Object Detection},
author = {Felix Embacher and David Holtz and Jonas Uhrig and Marius Cordts and Markus Enzweiler},
journal= {arXiv preprint arXiv:2508.12695},
year = {2025}
}
备注
Accepted at IEEE Intelligent Vehicles Symposium (IV) 2025