一种一站式 3D 目标重建与多级分割方法
计算机视觉与模式识别
2023-08-15 v1
摘要
3D 物体重建与多级分割是计算机视觉研究的基础。现有算法通常独立地进行 3D 场景重建与目标物体分割，且由于 3D 分割的困难，性能未得到充分保证。在此我们提出一种开源的一站式 3D 目标重建与多级分割框架（OSTRA），该框架在 2D 图像上执行分割，在图像序列中跟踪带分割标签的多个实例，随后利用多视图立体（MVS）或基于 RGBD 的 3D 重建方法重建带标签的 3D 物体或多个部件。我们扩展物体跟踪与 3D 重建算法以支持连续的分割标签，从而借助 2D 图像分割（尤其是 Segment-Anything Model（SAM），其使用预训练神经网络而无需针对新场景额外训练）的进展来实现 3D 物体分割。OSTRA 支持最流行的 3D 物体模型，包括点云、网格与体素，并在多个 3D 数据集上实现了语义分割、实例分割与部件分割的高性能。在具有复杂结构与遮挡的场景中，它甚至超越人工分割。我们的方法为在复杂场景中重建嵌入丰富多尺度分割信息的 3D 目标开辟了新途径。OSTRA 可从 https://github.com/ganlab/OSTRA 获取。
引用
@article{arxiv.2308.06974,
title = {A One Stop 3D Target Reconstruction and multilevel Segmentation Method},
author = {Jiexiong Xu and Weikun Zhao and Zhiyan Tang and Xiangchao Gan},
journal= {arXiv preprint arXiv:2308.06974},
year = {2023}
}