FocalFormer3D：聚焦困难实例的 3D 目标检测
计算机视觉与模式识别
2023-08-10 v1
摘要
3D 目标检测中的假阴性（FN），例如漏检行人、车辆或其他障碍物，可能在自动驾驶中导致潜在危险情况。尽管致命，该问题在许多当前 3D 检测方法中研究不足。本工作中，我们提出困难实例探测（HIP），一种以多阶段方式识别 \textit{FN} 并引导模型聚焦于挖掘困难实例的通用流程。对于 3D 目标检测，我们将此方法实例化为 FocalFormer3D，一种简单而有效的检测器，擅长挖掘困难目标并提升预测召回率。FocalFormer3D 具有多阶段查询生成以发现困难目标，以及框级 transformer 解码器以高效区分海量候选目标中的物体。在 nuScenes 和 Waymo 数据集上的实验结果验证了 FocalFormer3D 的优越性能。该优势在检测和跟踪、激光雷达与多模态设置下均带来强劲表现。值得注意的是，FocalFormer3D 在 nuScenes 检测基准上达到 70.5 mAP 和 73.9 NDS，而 nuScenes 跟踪基准显示 72.1 AMOTA，两者均排名 nuScenes 激光雷达排行榜第一。我们的代码见于 \url{https://github.com/NVlabs/FocalFormer3D}。
引用
@article{arxiv.2308.04556,
title = {FocalFormer3D : Focusing on Hard Instance for 3D Object Detection},
author = {Yilun Chen and Zhiding Yu and Yukang Chen and Shiyi Lan and Animashree Anandkumar and Jiaya Jia and Jose Alvarez},
journal= {arXiv preprint arXiv:2308.04556},
year = {2023}
}
备注
Accepted by ICCV 2023