EEPNet-V2：LiDAR 点云与摄像图像之间高效跨模态注册的 Patch-to-Pixel 解决方案
计算机视觉与模式识别
2025-07-11 v2
摘要
跨模态数据融合的首要要求是来自不同传感器的数据的精确对齐。然而，LiDAR 点云与摄像图像之间的标定通常耗时且需要外部标定板或特定环境特征。跨模态注册通过无需外部标定直接对齐数据来解决此问题。然而，由于点云与图像之间的领域差异，现有方法很少在保持实时性能的同时实现令人满意的注册精度。为解决此问题，我们提出一种框架将点云投影到多个二维表示以与摄像图像匹配，这不仅有效地利用了 LiDAR 点云的几何特征，还弥合了点云与图像之间的领域差距。此外，针对跨模态差异和 LiDAR 点云与图像之间重叠有限的挑战，我们引入多尺度特征提取网络有效地从摄像图像和 LiDAR 点云的投影图中提取特征。我们还提出一种 patch-to-pixel 匹配网络以提供更有效的监督并实现高精度。我们通过在 KITTI 和 nuScenes 数据集上的实验验证了该模型的性能。实验结果表明，我们的方法实现了实时性能并实现了极高的注册精度。具体而言，在 KITTI 数据集上，我们的模型实现了超过 99% 的注册准确率。我们的代码已发布于：https://github.com/ESRSchao/EEPNet-V2。
引用
@article{arxiv.2503.15285,
title = {EEPNet-V2: Patch-to-Pixel Solution for Efficient Cross-Modal Registration between LiDAR Point Cloud and Camera Image},
author = {Yuanchao Yue and Hui Yuan and Zhengxin Li and Shuai Li and Wei Zhang},
journal= {arXiv preprint arXiv:2503.15285},
year = {2025}
}