由 2D 检测提示的路侧单目 3D 检测

路侧单目 3D 检测要求在 RGB 图像中检测预定义类别的物体并预测其 3D 属性，例如鸟瞰图（BEV）位置。它在交通控制、车车通信和车路协同感知中有着广泛的应用。为了解决这一任务，我们引入了 Promptable 3D Detector (Pro3D)，这是一种利用 2D 检测作为提示的新颖检测器设计。我们的 Pro3D 建立在两个关键见解之上。首先，与典型的 3D 检测器相比，2D 检测器由于损失项较少而“更容易”训练，并且在 2D 指标的物体定位方面表现显著更好。其次，一旦 2D 检测在图像中精确定位了物体，3D 检测器就可以专注于将这些检测提升到 3D BEV，特别是当固定的相机位姿或场景几何形状提供信息先验时。为了编码并整合 2D 检测，我们探索了三种方法： 连接来自 2D 和 3D 检测器的特征， 注意力融合 2D 和 3D 检测器特征， 编码预测的 2D 边界框属性 \{$x$, $y$, 宽度, 高度, 标签\} 并将其与 3D 检测器特征进行注意力融合。有趣的是，第三种方法显著优于其他方法，突显了 2D 检测作为提示的有效性，这些提示提供了精确的物体目标并允许 3D 检测器专注于将其提升到 3D。Pro3D 适用于多种 2D 和 3D 检测器，只需极少的修改。大量实验表明，我们的 Pro3D 显著增强了现有方法，在两个当代基准上取得了 SOTA 结果。