使用超度量特征场的视图一致层次化3D分割
计算机视觉与模式识别
2024-07-19 v2 人工智能
摘要
大规模视觉基础模型（如Segment Anything (SAM)）在零样本图像分割中展现出令人印象深刻的性能，支持多个粒度级别。然而，这些零样本预测很少是3D一致的。随着场景中相机视点的变化，分割预测以及“粗”或“细”粒度的表征也会发生变化。在这项工作中，我们解决了将多粒度且视图不一致的图像分割提升为层次化且3D一致表示的挑战性任务。我们在表示3D场景的神经辐射场（NeRF）中学习一种新颖的特征场，通过简单地使用不同的特征距离阈值，可以在不同尺度上揭示其分割结构。我们的关键思想是学习一个超度量特征空间，与欧几里得空间不同，它在基于距离的分组中表现出传递性，自然导致层次聚类。综合起来，我们的方法以视图不一致的多粒度2D分割作为输入，并输出一个3D一致的分割层次结构。我们在具有多视图图像和多粒度分割的合成数据集上评估我们的方法和几个基线，展示了改进的准确性和视点一致性。我们还提供了模型在真实世界场景中的3D层次分割的定性示例。代码和数据集可在https://github.com/hardyho/ultrametric_feature_fields获取。
引用
@article{arxiv.2405.19678,
title = {View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields},
author = {Haodi He and Colton Stearns and Adam W. Harley and Leonidas J. Guibas},
journal= {arXiv preprint arXiv:2405.19678},
year = {2024}
}