EPNet++：用于多模态三维目标检测的级联双向融合
计算机视觉与模式识别
2022-12-21 v4
摘要
近年来，融合 LiDAR 点云与相机图像以提升三维目标检测的性能与鲁棒性受到越来越多的关注，因为这两种模态天然具有强互补性。本文提出 EPNet++ 用于多模态三维目标检测，引入了新颖的级联双向融合（CB-Fusion）模块与多模态一致性（MC）损失。具体而言，所提 CB-Fusion 模块以级联双向交互融合方式从图像特征中吸收丰富语义信息来增强点特征，从而得到更强大且更具判别力的特征表示。MC 损失显式保证两模态预测分数间的一致性，以获得更全面可靠的置信度分数。在 KITTI、JRDB 与 SUN-RGBD 数据集上的实验结果证明了 EPNet++ 相对于最先进方法的优越性。此外，我们强调了一个关键但易被忽视的问题，即探索三维检测器在更稀疏场景中的性能与鲁棒性。大量实验表明，在高度稀疏点云情况下 EPNet++ 以显著优势超越现有 SOTA 方法，这或可作为降低 LiDAR 传感器高昂成本的可行方向。代码见：https://github.com/happinesslz/EPNetV2。
引用
@article{arxiv.2112.11088,
title = {EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection},
author = {Zhe Liu and Tengteng Huang and Bingling Li and Xiwu Chen and Xi Wang and Xiang Bai},
journal= {arXiv preprint arXiv:2112.11088},
year = {2022}
}
备注
Accepted by TPAMI-2022