Any3DIS：基于2D掩码跟踪的类无关3D实例分割
计算机视觉与模式识别
2024-11-26 v1
摘要
现有的3D实例分割方法常常遇到过分割问题，导致产生大量冗余且不准确的3D提案， complicating downstream tasks。这种挑战源于其无监督的合并方法，即将稠密的2D实例掩码跨帧提升到点云中以形成3D候选提案，而缺乏直接监督。随后，这些候选提案基于启发式标准进行层次化合并，常常导致大量冗余分割无法精确合并成准确的3D提案。为克服这些限制，我们提出了3D感知的2D掩码跟踪模块，利用来自2D掩码分割和跟踪基础模型(SAM-2)的鲁棒3D先验，确保视频帧之间对象掩码的一致性。而不是将所有可见的超点跨视图合并以创建3D掩码，我们的3D掩码优化模块利用动态编程算法选择一组最优视图，细化超点以为每个对象生成最终的3D提案。我们的做法能够在场景中实现全面的对象覆盖，同时减少不必要的提案，从而避免可能影响下游应用。在ScanNet200和ScanNet++上的评估表明，我们的方法在类无关、开放词汇和开放终端3D实例分割任务中均取得了改进。
引用
@article{arxiv.2411.16183,
title = {Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking},
author = {Phuc Nguyen and Minh Luu and Anh Tran and Cuong Pham and Khoi Nguyen},
journal= {arXiv preprint arXiv:2411.16183},
year = {2024}
}
备注
Project page: https://any3dis.github.io/