用于无标签三维分割的跨模态与跨域知识迁移
计算机视觉与模式识别
2023-10-17 v2
摘要
当前最先进的基于点云的感知方法通常依赖大规模标注数据，这需要昂贵的人工标注。一个自然的选择是为 3D 感知任务探索无监督方法。然而，此类方法常面临显著的性能下降困难。幸运的是，我们发现存在大量基于图像的数据集，并可提出一种替代方案，即将 2D 图像中的知识迁移到 3D 点云。具体而言，我们通过充分探索图像与点云之间的关系并设计有效的特征对齐策略，针对具有挑战性的跨模态与跨域自适应任务提出一种新方法。在无任何 3D 标签的情况下，通过使用 KITTI360 与 GTA5 的知识，我们的方法在 SemanticKITTI 上实现了最先进的 3D 点云语义分割性能，优于现有的无监督与弱监督基线。
引用
@article{arxiv.2309.10649,
title = {Cross-modal and Cross-domain Knowledge Transfer for Label-free 3D Segmentation},
author = {Jingyu Zhang and Huitong Yang and Dai-Jie Wu and Jacky Keung and Xuesong Li and Xinge Zhu and Yuexin Ma},
journal= {arXiv preprint arXiv:2309.10649},
year = {2023}
}
备注
12 pages,4 figures,accepted