开放终端3D点云实例分割
计算机视觉与模式识别
2025-08-13 v2 人工智能
摘要
开放词汇3D实例分割方法（OV-3DIS）最近展示了其 generalizations to unseen objects的能力。然而，这些方法仍依赖于测试时的预定义类名，限制了代理人的自主性。为缓解这一限制，我们提出了一种新问题——开放终端3D实例分割（Open-Ended 3D Instance Segmentation, OE-3DIS），该问题在测试时无需预定义类名。此外，我们贡献了一套强大的基线集合，源自OV-3DIS方法，利用2D多模态大型语言模型。为评估我们的OE-3DIS系统性能，我们引入了新的开放终端得分（Open-Ended score），评估预测掩码及其关联类名的语义和几何质量，同时包括标准的平均精度得分（AP score）。我们的 approach 在ScanNet200和ScanNet++数据集上显著优于基线方法。值得注意的是，在缺乏 ground-truth 对象类名的情况下，我们的方法甚至超过了OV-3DIS中的当前最先进方法（Open3DIS）。
引用
@article{arxiv.2408.11747,
title = {OE3DIS: Open-Ended 3D Point Cloud Instance Segmentation},
author = {Phuc D. A. Nguyen and Minh Luu and Anh Tran and Cuong Pham and Khoi Nguyen},
journal= {arXiv preprint arXiv:2408.11747},
year = {2025}
}
备注
Accepted at ICCVW'25 - OpenSUN3D: 5th Workshop on Open-World 3D Scene Understanding with Foundation Models