通过从 2D 模型迁移知识实现数据高效的 3D 学习器
计算机视觉与模式识别
2022-10-07 v3
摘要
采集并标注配准的 3D 点云成本高昂。因此，用于训练的 3D 资源在数量上通常少于对应的 2D 图像。在本工作中，我们通过经由 RGB-D 图像从强大的 2D 模型迁移知识，应对 3D 任务的数据稀缺挑战。具体而言，我们利用一个强大且训练良好的 2D 图像语义分割模型，为 RGB-D 图像添加伪标签以增强数据。增强后的数据集随后可用于预训练 3D 模型。最后，仅在少量标注的 3D 实例上简单微调，我们的方法便已优于现有的专为 3D 标注效率设计的 state-of-the-art。我们还表明，mean-teacher 与熵最小化的结果可通过我们的预训练得到提升，意味着所迁移的知识在半监督设定下亦有帮助。我们在两个流行的 3D 模型与三种不同任务上验证了方法的有效性。在 ScanNet 官方评测中，我们在数据高效赛道上确立了新的 state-of-the-art 语义分割结果。
引用
@article{arxiv.2203.08479,
title = {Data Efficient 3D Learner via Knowledge Transferred from 2D Model},
author = {Ping-Chung Yu and Cheng Sun and Min Sun},
journal= {arXiv preprint arXiv:2203.08479},
year = {2022}
}