利用图像数据自监督预训练三维点云网络
计算机视觉与模式识别
2022-12-20 v3
摘要
在标签稀缺且昂贵时，减少监督训练所需标注量至关重要。这种减少对于涉及 3D 数据集的语义分割任务尤为重要，这些数据集通常比基于图像的数据集小得多且更难标注。在大型无标注数据集上的自监督预训练是减少所需人工标注量的一种方式。先前工作专注于仅使用点云数据进行预训练；这种方法通常需要两个或更多配准视图。在本工作中，我们结合图像与点云模态，首先学习自监督图像特征，然后利用这些特征训练 3D 模型。通过纳入许多 3D 数据集中常包含的图像数据，我们的预训练方法仅需对场景进行单次扫描。我们证明，尽管使用单次扫描，我们的预训练方法取得了与其他多扫描、仅点云方法相当的性能。
引用
@article{arxiv.2211.11801,
title = {Self-Supervised Pre-training of 3D Point Cloud Networks with Image Data},
author = {Andrej Janda and Brandon Wagstaff and Edwin G. Ng and Jonathan Kelly},
journal= {arXiv preprint arXiv:2211.11801},
year = {2022}
}
备注
In Proceedings of the Conference on Robot Learning (CoRL'22) Workshop on Pre-Training Robot Learning, Auckland, New Zealand, December 15, 2022