EdgeRegNet：基于边缘特征的图像与 LiDAR 点云多模态注册网络
计算机视觉与模式识别
2025-03-20 v1
摘要
跨模态数据注册一直是计算机视觉中的关键任务，广泛应用于自动驾驶和机器人领域。准确可靠的注册方法对于对齐来自不同模态的数据至关重要，为多模态传感器数据融合和增强感知系统的准确性和可靠性奠定了基础。将由摄像头捕获的二维图像与由光学探测与测距（LiDAR）传感器捕获的三维点云进行注册通常被视为视觉姿态估计问题。高维特征相似性被用于识别像素-点对对应关系，随后使用最小二乘方法进行姿态估计。然而，现有方法常因计算限制而对原始点云和图像数据进行下采样，必然导致精度损失。此外，来自不同模态的特征提取器提取的高维特征需要特定技术来缓解跨模态差异以实现有效匹配。为解决这些挑战，我们提出一种方法利用来自原始点云和图像的边缘信息进行跨模态注册。我们通过提取边缘点和边缘像素保留原始数据的关键信息，增强注册精度同时保持计算效率。使用边缘点和边缘像素允许我们引入基于注意力的特征交换块来消除跨模态差异。此外，我们纳入最优匹配层以改进对应物识别。我们在 KITTI 和 nuScenes 数据集上验证了该方法的准确性，展示了其领先的性能。
引用
@article{arxiv.2503.15284,
title = {EdgeRegNet: Edge Feature-based Multimodal Registration Network between Images and LiDAR Point Clouds},
author = {Yuanchao Yue and Hui Yuan and Qinglong Miao and Xiaolong Mao and Raouf Hamzaoui and Peter Eisert},
journal= {arXiv preprint arXiv:2503.15284},
year = {2025}
}