PartSLIP++：通过多视图实例分割与最大似然估计增强低样本 3D 部件分割
计算机视觉与模式识别
2023-12-07 v1 人工智能
机器学习
摘要
开放世界 3D 部件分割在机器人和 AR/VR 等多种应用中至关重要。传统的监督方法常常面临有限的 3D 数据可用性，并难以泛化到未见过的物体类别。PartSLIP 作为一项最新进展，在零样本和少样本 3D 部件分割方面取得了显著进步。这是通过利用 2D 开放词汇检测模块 GLIP 的能力，并引入一种启发式方法将多视图 2D 边界框预测转换并提升为 3D 分割掩码来实现的。在本文中，我们引入了 PartSLIP++，这是一个旨在克服其前身局限性的增强版本。我们的方法包含两项重大改进。首先，我们利用预训练的 2D 分割模型 SAM 来生成像素级的 2D 分割，从而产生比 PartSLIP 中使用的 2D 边界框更精确和准确的标注。其次，PartSLIP++ 用一种创新的改进型期望最大化算法取代了启发式 3D 转换过程。该算法将 3D 实例分割概念化为未观测的隐变量，然后通过 2D-3D 匹配和梯度下降优化的交替过程迭代地细化它们。通过广泛的评估，我们表明 PartSLIP++ 在低样本 3D 语义和基于实例的物体部件分割任务中均表现出优于 PartSLIP 的性能。代码发布于 https://github.com/zyc00/PartSLIP2。
引用
@article{arxiv.2312.03015,
title = {PartSLIP++: Enhancing Low-Shot 3D Part Segmentation via Multi-View Instance Segmentation and Maximum Likelihood Estimation},
author = {Yuchen Zhou and Jiayuan Gu and Xuanlin Li and Minghua Liu and Yunhao Fang and Hao Su},
journal= {arXiv preprint arXiv:2312.03015},
year = {2023}
}