ObjectCarver：基于点击输入的 3D 物体半自动分割、重建与分离
计算机视觉与模式识别
2024-07-30 v1
摘要
隐式神经场在从多张图像重建 3D 表面方面取得了显著进展;然而，它们在分离场景中单个物体方面存在挑战。以前的工作通过引入一个框架来训练每个 N 个物体的独立符号距离场 (SDF)，并使用正则化项防止物体重叠来解决这个问题。然而，这些方法都需要提供分割掩码，而这些掩码并非总是 readily available。我们引入了 ObjectCarver 方法，用于从单视图中的点击输入对物体分离进行建模。给定带姿态的多视图图像和一组用于提示分割单个物体的点击输入，ObjectCarver 将场景分解为独立的物体，并为每个物体重建高质量的 3D 表面。我们引入了一个损失函数，用于防止漂浮点以及避免因遮挡导致的不当切割。在此基础上，我们引入了一种新的场景初始化方法，显著加快了处理速度，同时保持几何细节。尽管不需要 ground truth 掩码或单目线索，ObjectCarver 在定性和定量分析方面均优于基线方法。此外，我们引入了一个新的基准数据集用于评估。
引用
@article{arxiv.2407.19108,
title = {ObjectCarver: Semi-automatic segmentation, reconstruction and separation of 3D objects},
author = {Gemmechu Hassena and Jonathan Moon and Ryan Fujii and Andrew Yuen and Noah Snavely and Steve Marschner and Bharath Hariharan},
journal= {arXiv preprint arXiv:2407.19108},
year = {2024}
}
备注
Project page is: https://objectcarver.github.io/