面向车辆定位的图像与激光雷达点云端到端二维-三维配准
机器人学
2025-07-08 v2 计算机视觉与模式识别
摘要
利用已构建地图进行机器人定位对于精确导航与移动操作等多种任务至关重要。一种流行的机器人定位方法基于图像到点云配准，其将不受光照影响的基于激光雷达的建图与经济高效的基于图像的定位相结合。然而，现有的图像到点云配准工作要么将配准划分为独立模块，要么将点云投影至深度图像以配准RGB与深度图像。本文提出I2PNet，一种新颖的端到端二维-三维配准网络，其利用具有统一目标的微分模块直接将原始三维点云与二维RGB图像配准。为桥接特征提取与位姿回归，提出了用于微分二维-三维关联的三维-二维代价体模块。在二维-三维代价体模块中，软点至像素对应在内禀无关归一化平面上被隐式构建。此外，我们引入离群掩码预测模块，以在位姿回归前过滤二维-三维关联中的离群点。进而，我们提出由粗到细的二维-三维配准架构以提升定位精度。我们在KITTI、nuScenes、M2DGR、Argoverse、Waymo与Lyft5数据集上进行了大量定位实验。结果表明I2PNet大幅优于当前最优方法，且比先前工作具有更高效率。此外，我们将I2PNet的应用扩展至相机-激光雷达在线标定，并证明I2PNet在该在线标定任务上优于近期方法。源代码发布于https://github.com/IRMVLab/I2PNet。
引用
@article{arxiv.2306.11346,
title = {End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization},
author = {Guangming Wang and Yu Zheng and Yuxuan Wu and Yanfeng Guo and Zhe Liu and Yixiang Zhu and Wolfram Burgard and Hesheng Wang},
journal= {arXiv preprint arXiv:2306.11346},
year = {2025}
}
备注
Accepted to T-RO. Source codes are released at https://github.com/IRMVLab/I2PNet