CoreNet：面向3D LiDAR-相机目标检测中点-像素错位与子任务抑制的冲突解决网络
计算机视觉与模式识别
2025-01-14 v1
摘要
融合来自不同传感器的多模态输入是提升3D目标检测性能的有效途径。然而，当前方法忽略了两个重要冲突：点-像素错位和子任务抑制。前者指来自不透明物体的像素特征被投影到世界空间中同一射线的多个点特征上，后者指分类预测和边界框回归可能相互抑制。本文提出了一种名为冲突解决网络（CoreNet）的新方法来解决上述问题。具体而言，我们首先提出一个双流变换模块来处理点-像素错位。它由基于射线和基于点的2D到BEV变换组成。两者都实现了从图像空间到世界空间的近似唯一映射。此外，我们引入了一个任务特定预测器来处理子任务抑制。它采用双分支结构，分别使用类别特定查询和边界框特定查询对应子任务。每个任务特定查询由任务特定特征和通用特征构成，这使得头部能够根据不同的子任务自适应地选择感兴趣的信息。在大规模nuScenes数据集上的实验证明了我们提出的CoreNet的优越性，在nuScenes测试集上无需测试时增强和模型集成技术即达到了75.6% NDS和73.3% mAP。充分的消融研究也证明了每个组件的有效性。代码已发布在https://github.com/liyih/CoreNet。
引用
@article{arxiv.2501.06550,
title = {CoreNet: Conflict Resolution Network for Point-Pixel Misalignment and Sub-Task Suppression of 3D LiDAR-Camera Object Detection},
author = {Yiheng Li and Yang Yang and Zhen Lei},
journal= {arXiv preprint arXiv:2501.06550},
year = {2025}
}
备注
Accepted by Information Fusion 2025