DVLO：结合局部到全局特征融合与双向结构对齐的深度视觉-LiDAR里程计
计算机视觉与模式识别
2024-07-18 v3
摘要
视觉与LiDAR数据中的信息具有很好的互补性，分别源自图像的细粒度纹理与点云中的海量几何信息。然而，探索有效的视觉-LiDAR融合仍具挑战性，主要由于两种模态之间固有的数据结构不一致：图像像素规则且密集，而LiDAR点无序且稀疏。为解决该问题，我们提出了一种具有双向结构对齐的局部到全局融合网络（DVLO）。为获得局部融合特征，我们将点投影到图像平面作为聚类中心，并围绕每个中心对图像像素进行聚类。图像像素被预先组织为伪点，以实现图像到点的结构对齐。然后，我们通过柱面投影将点转换为伪图像（点到图像结构对齐），并在点特征与局部融合特征之间执行自适应全局特征融合。与单模态和多模态方法相比，我们的方法在KITTI里程计和FlyingThings3D场景流数据集上取得了SOTA性能。代码已发布于 https://github.com/IRMVLab/DVLO。
关键词
引用
@article{arxiv.2403.18274,
title = {DVLO: Deep Visual-LiDAR Odometry with Local-to-Global Feature Fusion and Bi-Directional Structure Alignment},
author = {Jiuming Liu and Dong Zhuo and Zhiheng Feng and Siting Zhu and Chensheng Peng and Zhe Liu and Hesheng Wang},
journal= {arXiv preprint arXiv:2403.18274},
year = {2024}
}
备注
Accepted by ECCV 2024.Codes are released at https://github.com/IRMVLab/DVLO