图像与激光雷达之间的特征对比学习
计算机视觉与模式识别
2022-06-27 v1
摘要
图像与点云为机器人提供不同的信息。寻找不同传感器数据之间的对应关系是定位、建图与导航等多种任务的关键。基于学习的描述子已针对单一传感器得到发展；关于跨模态特征的工作甚少。本工作将跨模态特征学习视为一个稠密对比学习问题。我们提出一种用于跨模态特征学习的 Tuple-Circle 损失函数。此外，为学习良好特征且不丧失通用性，我们开发了广泛使用的 PointNet++ 架构在点云上的变体以及 U-Net CNN 架构在图像上的变体。并且，我们在真实世界数据集上开展实验以展示我们的损失函数与网络结构的有效性。我们通过可视化特征表明，我们的模型确实从图像与激光雷达两者中学习到了信息。
引用
@article{arxiv.2206.12071,
title = {Contrastive Learning of Features between Images and LiDAR},
author = {Peng Jiang and Srikanth Saripalli},
journal= {arXiv preprint arXiv:2206.12071},
year = {2022}
}
备注
accepted in CASE2022