PartSLIP：基于预训练图像-语言模型的低样本三维点云部件分割
计算机视觉与模式识别
2023-06-21 v2 机器人学
摘要
可泛化的三维部件分割在视觉与机器人领域十分重要但具挑战性。通过常规监督方法训练深度模型需要带细粒度部件标注的大规模三维数据集，而这类数据收集成本高昂。本文探索一种替代途径，利用在开放词汇二维检测上表现优异的预训练图像-语言模型GLIP，实现三维点云的低样本部件分割。我们通过基于GLIP的点云渲染部件检测与一种新颖的二维到三维标签提升算法，将丰富知识从二维迁移至三维。我们还利用多视角三维先验与少样本提示微调显著提振性能。在PartNet与PartNet-Mobility数据集上的大量评估表明，我们的方法可实现优异的零样本三维部件分割。我们的少样本版本不仅大幅超越现有少样本方法，且与全监督对应方法相比也取得极具竞争力的结果。此外，我们证明该方法可直接应用于iPhone扫描的点云而无明显域差距。
引用
@article{arxiv.2212.01558,
title = {PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models},
author = {Minghua Liu and Yinhao Zhu and Hong Cai and Shizhong Han and Zhan Ling and Fatih Porikli and Hao Su},
journal= {arXiv preprint arXiv:2212.01558},
year = {2023}
}
备注
CVPR 2023, project page: https://colin97.github.io/PartSLIP_page/