稀疏融合稠密：面向深度补全的高质量 3D 检测
计算机视觉与模式识别
2022-07-05 v2
摘要
当前仅基于 LiDAR 的 3D 检测方法不可避免地受点云稀疏性影响。许多多模态方法被提出以缓解该问题，但图像与点云的不同表示使其难以融合，导致次优性能。本文提出一种新颖的多模态框架 SFD（Sparse Fuse Dense，稀疏融合稠密），其利用深度补全生成的伪点云来解决上述问题。与先前工作不同，我们提出一种新的 RoI 融合策略 3D-GAF（3D Grid-wise Attentive Fusion，三维网格注意力融合），以更充分地利用来自不同类型点云的信息。具体而言，3D-GAF 以网格注意力方式融合来自成对点云的 3D RoI 特征，更为精细且精确。此外，我们提出 SynAugment（Synchronized Augmentation，同步增强），使我们的多模态框架能够利用所有为仅 LiDAR 方法量身定制的数据增强策略。最后，我们为伪点云定制了高效且有效的特征提取器 CPConv（Color Point Convolution，彩色点卷积），其可同时探索伪点云的 2D 图像特征与 3D 几何特征。我们的方法在 KITTI 汽车 3D 目标检测排行榜上位居最高，证明了 SFD 的有效性。代码见 https://github.com/LittlePey/SFD。
引用
@article{arxiv.2203.09780,
title = {Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion},
author = {Xiaopei Wu and Liang Peng and Honghui Yang and Liang Xie and Chenxi Huang and Chengqi Deng and Haifeng Liu and Deng Cai},
journal= {arXiv preprint arXiv:2203.09780},
year = {2022}
}
备注
Accepted by CVPR 2022 (Oral)