PF3Det：一种基于提示的基础特征辅助视觉 LiDAR 3D 检测器
计算机视觉与模式识别
2025-04-07 v1
摘要
3D 目标检测对自动驾驶至关重要，它利用 LiDAR 点云获取精确的深度信息，并利用相机图像获取丰富的语义信息。因此，结合两种模态的多模态方法提供了更稳健的检测结果。然而，由于领域差距，高效融合 LiDAR 点与图像仍然具有挑战性。此外，许多模型的性能受到高质量标注数据量的限制，而这些数据的创建成本高昂。基础模型的最新进展在不同模态上使用大规模预训练，实现了更好的多模态融合。结合用于高效训练的提示工程技术，我们提出了提示基础 3D 检测器（PF3Det），它集成了基础模型编码器和软提示以增强 LiDAR-相机特征融合。PF3Det 在有限训练数据下取得了 SOTA 结果，在 nuScenes 数据集上将 NDS 提高了 1.19%，mAP 提高了 2.42%，证明了其在 3D 检测中的有效性。
关键词
引用
@article{arxiv.2504.03563,
title = {PF3Det: A Prompted Foundation Feature Assisted Visual LiDAR 3D Detector},
author = {Kaidong Li and Tianxiao Zhang and Kuan-Chuan Peng and Guanghui Wang},
journal= {arXiv preprint arXiv:2504.03563},
year = {2025}
}
备注
This paper is accepted to the CVPR 2025 Workshop on Distillation of Foundation Models for Autonomous Driving (WDFM-AD)