递归跨视角:仅用 2D 检测器在无 3D 标注下实现 3D 目标检测
计算机视觉与模式识别
2023-09-13 v3
摘要
严重依赖 3D 标注限制了 3D 目标检测在真实世界中的应用。本文提出一种不需要任何 3D 标注、同时能够预测完全定向 3D 边界框的方法。我们的方法称为递归跨视角(Recursive Cross-View, RCV),利用三视图原理将 3D 检测转化为多个 2D 检测任务,仅需子集化的 2D 标签。我们提出一种递归范式,其中实例分割与跨视角的 3D 边界框生成被递归执行直至收敛。具体而言,所提方法对每个 2D 边界框使用截头锥体,随后经由递归范式最终生成完全定向的 3D 框及其对应类别与分数。注意,类别与分数由 2D 检测器给出。在 SUN RGB-D 与 KITTI 数据集上的评估表明,我们的方法优于现有基于图像的方法。为证明我们的方法可快速用于新任务,我们将其应用于两个真实场景,即 3D 人体检测与 3D 手部检测。由此获得两个新的 3D 标注数据集,这意味着 RCV 可视为一个(半)自动 3D 标注器。此外,我们将 RCV 部署于深度传感器,在实时 RGB-D 流上以 7 fps 实现检测。RCV 是首个不消耗 3D 标签即产出完全定向 3D 框的 3D 检测方法。
引用
@article{arxiv.2211.07108,
title = {Recursive Cross-View: Use Only 2D Detectors to Achieve 3D Object Detection without 3D Annotations},
author = {Shun Gui and Yan Luximon},
journal= {arXiv preprint arXiv:2211.07108},
year = {2023}
}
备注
Accepted by R-AL