利用图像数据进行点云分割网络自监督预训练的对比学习
计算机视觉与模式识别
2023-09-06 v3
摘要
在标签稀缺且昂贵时，减少监督训练所需标注量至关重要。这种减少对于涉及 3D 数据集的语义分割任务尤为关键，因为这类数据集通常比基于图像的数据集小得多且更难标注。在无标注数据上进行自监督预训练是减少人工标注需求的一种途径。已有工作仅专注于使用点云进行预训练。尽管有用，该方法通常需要两个或更多配准视图。在本工作中，我们通过先学习自监督图像特征，再使用这些特征训练 3D 模型，将图像与点云模态相结合。通过引入许多 3D 数据集中常包含的图像数据，我们的预训练方法仅需对场景进行单次扫描，并可应用于无定位信息的情形。我们证明，尽管仅使用单次扫描，我们的预训练方法仍取得了与其他多扫描、仅点云方法相当的性能。
引用
@article{arxiv.2301.07283,
title = {Contrastive Learning for Self-Supervised Pre-Training of Point Cloud Segmentation Networks With Image Data},
author = {Andrej Janda and Brandon Wagstaff and Edwin G. Ng and Jonathan Kelly},
journal= {arXiv preprint arXiv:2301.07283},
year = {2023}
}
备注
In Proceedings of the Conference on Robots and Vision (CRV'23), Montreal, Canada, Jun. 6-8, 2023. arXiv admin note: substantial text overlap with arXiv:2211.11801