ZeroPS：面向零样本三维部件分割的高质量跨模态知识迁移
计算机视觉与模式识别
2025-02-24 v4
摘要
零样本三维部件分割是一项具有挑战性且基础性的任务。本工作中，我们提出一种新颖的流程 ZeroPS，其实现了从 2D 预训练基础模型（FMs）SAM 和 GLIP 到 3D 物体点云的高质量知识迁移。我们旨在探索多视图对应与 FMs 提示机制之间的自然关系，并据此建立桥梁。在 ZeroPS 中，该关系体现如下：1）利用共视区域与 SAM 的提示机制将 2D 提升到 3D；2）利用 2D-3D 视图投影与 GLIP 的提示机制将 1D 类别关联到 3D 部件；3）利用多视图观测增强预测性能。在 PartNetE 与 AKBSeg 基准上的大量评估表明，ZeroPS 在零样本无标签与实例分割任务上显著优于 SOTA 方法。ZeroPS 无需对 FMs 进行额外训练或微调。ZeroPS 适用于模拟与真实世界数据，几乎不受域偏移影响。项目页面见 https://luis2088.github.io/ZeroPS_page。
引用
@article{arxiv.2311.14262,
title = {ZeroPS: High-quality Cross-modal Knowledge Transfer for Zero-Shot 3D Part Segmentation},
author = {Yuheng Xue and Nenglun Chen and Jun Liu and Wenyun Sun},
journal= {arXiv preprint arXiv:2311.14262},
year = {2025}
}
备注
2025 International Conference on 3D Vision (3DV)