ClusteringSDF：用于 3D 分解的自组织神经隐式表面
计算机视觉与模式识别
2024-03-22 v1
摘要
由于大规模 3D 标注数据难以获取，3D 分解/分割仍然是一个挑战。当代方法通常利用 2D 机器生成的分割，并将其整合以实现 3D 一致性。尽管这些方法大多数基于 NeRF，但它们面临一个潜在的弱点，即实例/语义嵌入特征源自独立的 MLP，从而阻碍了分割网络直接通过辐射和密度学习物体的几何细节。在本文中，我们提出了 ClusteringSDF，这是一种通过神经隐式表面表示（特别是符号距离函数，SDF）在 3D 中同时实现分割与重建的新方法，其中分割渲染直接与神经隐式表面的体渲染相结合。尽管基于 ObjectSDF++，ClusteringSDF 不再需要真实分割进行监督，同时保持了重建单个物体表面的能力，而是纯粹依赖来自预训练模型的含噪且不一致的标签。作为 ClusteringSDF 的核心，我们引入了一种高效的聚类机制，用于将 2D 标签提升至 3D。在 ScanNet 和 Replica 数据集中具有挑战性的场景上的实验结果表明，与 SOTA 方法相比，ClusteringSDF 能够取得具有竞争力的性能，同时显著减少了训练时间。
引用
@article{arxiv.2403.14619,
title = {ClusteringSDF: Self-Organized Neural Implicit Surfaces for 3D Decomposition},
author = {Tianhao Wu and Chuanxia Zheng and Tat-Jen Cham and Qianyi Wu},
journal= {arXiv preprint arXiv:2403.14619},
year = {2024}
}
备注
Project Page: https://sm0kywu.github.io/ClusteringSDF/