基于图像到点云显著性迁移的注意力引导激光雷达分割与里程估计

激光雷达里程估计与三维语义分割对自动驾驶至关重要，近年来取得了显著进展。然而，由于三维语义分割中不同语义类别的点分布不均衡，以及动态物体对激光雷达里程估计的影响，这些任务具有挑战性，这凸显了使用具有代表性/显著性的地标作为参考点以进行鲁棒特征学习的重要性。为应对这些挑战，我们提出了一种显著性引导方法，利用注意力信息提升激光雷达里程估计与语义分割模型的性能。与图像域不同，由于点云缺乏标注训练数据，仅有少数研究涉及点云显著性信息。为此，我们首先提出一个通用框架，将显著性分布知识从彩色图像迁移到点云，并据此构建点云伪显著性数据集（即 FordSaliency）。随后，我们采用基于点云的骨干网络从伪显著性标签中学习显著性分布，其后接入我们提出的 SalLiDAR 模块。SalLiDAR 是一种显著性引导的三维语义分割模型，通过融合显著性信息提升分割性能。最后，我们提出 SalLONet，一种自监督的显著性引导激光雷达里程网络，利用 SalLiDAR 的语义与显著性预测实现更优的里程估计。在基准数据集上的大量实验表明，所提出的 SalLiDAR 与 SalLONet 模型相较现有方法取得了最先进的性能，凸显了图像到激光雷达显著性知识迁移的有效性。源代码将发布于 https://github.com/nevrez/SalLONet。