体素传播网络：用于远距离深度估计的立体-激光雷达融合
计算机视觉与模式识别
2021-03-25 v1
摘要
立体-激光雷达融合是一项有前景的任务，因为我们可以在实际使用中利用两种不同类型的三维感知——稠密三维信息（立体相机）与高精度稀疏点云（LiDAR）。然而，由于其模态与结构不同，对齐传感器数据的方法是成功进行传感器融合的关键。为此，我们提出了一种用于远距离深度估计的几何感知立体-激光雷达融合网络，称为体素传播网络（volumetric propagation network）。我们网络的核心思想是利用稀疏且精确的点云作为线索，在统一的三维体素空间中引导立体图像的对应点匹配。与现有融合策略不同，我们直接将点点云嵌入体素中，这使得我们能够将有效信息传播到体素空间中的邻近体素，并降低对应点匹配的不确定性。因此，它使我们能够无缝融合两种不同输入模态并回归出远距离深度图。我们的融合进一步由新提出的由图像引导的点云特征提取层 FusionConv 增强。FusionConv 提取同时考虑语义（二维图像域）与几何（三维域）关系的点云特征，并辅助体素空间中的融合。我们的网络在 KITTI 与 Virtual-KITTI 数据集上取得了近期立体-激光雷达融合方法中的最优性能。
引用
@article{arxiv.2103.12964,
title = {Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation},
author = {Jaesung Choe and Kyungdon Joo and Tooba Imtiaz and In So Kweon},
journal= {arXiv preprint arXiv:2103.12964},
year = {2021}
}
备注
This is a presentation paper for ICRA 2021. Accepted at RA-L 2021