利用基础模型先验增强 LiDAR 点云特征以用于三维目标检测
计算机视觉与模式识别
2025-07-22 v1
摘要
基础模型的最新进展为增强三维感知开辟了新的可能。尤其是 DepthAnything 能够从单目 RGB 图像中提供稠密且可靠的几何先验,这可在自动驾驶场景中与稀疏的 LiDAR 数据形成互补。然而,此类先验在基于 LiDAR 的三维目标检测中仍未得到充分利用。本文针对原始 LiDAR 点特征表达能力有限、特别是反射率属性判别能力较弱的问题,引入由 DepthAnything 预测的深度先验,并将其与原始 LiDAR 属性相融合,以丰富每个点的表征。为充分利用增强后的点特征,我们提出了逐点特征提取模块。随后,采用双路径 RoI 特征提取框架,其中基于体素的分支用于全局语义上下文,基于点的分支用于细粒度结构细节。为有效融合互补的 RoI 特征,我们引入了双向门控 RoI 特征融合模块,以平衡全局与局部线索。在 KITTI 基准上的大量实验表明,我们的方法能够持续提升检测精度,证明了将视觉基础模型先验引入基于 LiDAR 的三维目标检测的价值。
引用
@article{arxiv.2507.13899,
title = {Enhancing LiDAR Point Features with Foundation Model Priors for 3D Object Detection},
author = {Yujian Mo and Yan Wu and Junqiao Zhao and Jijun Wang and Yinghao Hu and Jun Yan},
journal= {arXiv preprint arXiv:2507.13899},
year = {2025}
}