Sparse4D：基于稀疏时空融合的多视角 3D 目标检测
计算机视觉与模式识别
2023-02-13 v2
摘要
基于鸟瞰图（BEV）的方法近期在多视角 3D 检测任务中取得巨大进展。与基于 BEV 的方法相比，基于稀疏的方法性能落后，但仍具有诸多不可忽视的优点。为进一步推动稀疏 3D 检测，本文提出一种名为 Sparse4D 的新方法，其通过对锚框进行迭代优化，稀疏地采样并融合时空特征。(1) 稀疏 4D 采样：为每个 3D 锚分配多个 4D 关键点，随后将其投影至多视角/尺度/时间戳图像特征以采样相应特征；(2) 层次化特征融合：我们层次化融合不同视角/尺度、不同时间戳及不同关键点的采样特征，以生成高质量实例特征。如此，Sparse4D 无需依赖稠密视角变换或全局注意力，即可高效且有效地实现 3D 检测，且更利于边缘设备部署。此外，我们引入实例级深度重加权模块以缓解 3D 到 2D 投影中的不适定问题。实验中，我们的方法在 nuScenes 数据集的检测任务上优于所有基于稀疏的方法及大多数基于 BEV 的方法。
引用
@article{arxiv.2211.10581,
title = {Sparse4D: Multi-view 3D Object Detection with Sparse Spatial-Temporal Fusion},
author = {Xuewu Lin and Tianwei Lin and Zixiang Pei and Lichao Huang and Zhizhong Su},
journal= {arXiv preprint arXiv:2211.10581},
year = {2023}
}