OmniSeg3D：基于分层对比学习的通用三维分割
计算机视觉与模式识别
2023-11-21 v1
摘要
为实现对三维场景的整体理解，需要一种通用的三维分割方法，该方法能够不受物体数量或类别限制地分割多样化物体，同时反映固有的层次结构。为此，我们提出 OmniSeg3D，一种旨在一次性分割三维中任意物体的通用分割方法。其核心思想是通过分层对比学习框架，将多视角不一致的二维分割提升为一致的三维特征场，该过程分两步完成。首先，我们基于类别无关的二维分割设计了一种新颖的层次化表示，以建模像素间的多级关系。其次，从三维特征场渲染的图像特征在不同层次上聚类，并可根据不同层次间的层次关系进一步拉近或推远。在应对不一致二维分割带来的挑战时，该框架产生了一个全局一致的三维特征场，进而支持层次化分割、多物体选择与全局离散化。大量实验证明了我们的方法在高质量三维分割和准确层次结构理解上的有效性。一个图形用户界面进一步促进了通用三维分割的灵活交互。
引用
@article{arxiv.2311.11666,
title = {OmniSeg3D: Omniversal 3D Segmentation via Hierarchical Contrastive Learning},
author = {Haiyang Ying and Yixuan Yin and Jinzhi Zhang and Fan Wang and Tao Yu and Ruqi Huang and Lu Fang},
journal= {arXiv preprint arXiv:2311.11666},
year = {2023}
}