OpenGaussian：面向点级3D高斯开放词汇理解
计算机视觉与模式识别
2024-12-09 v2 机器人学
摘要
本文介绍了 OpenGaussian，一种基于 3D 高斯泼溅(3DGS)的方法，能够实现 3D 点级开放词汇理解。我们的主要动机源于观察到现有的基于 3DGS 的开放词汇方法主要关注 2D 像素级解析。由于特征表达性弱和 2D-3D 特征关联不准确，这些方法难以处理 3D 点级任务。为了确保鲁棒的特征表示和 3D 点级理解，我们首先使用没有跨帧关联的 SAM 掩码来训练具有 3D 一致性的实例特征。这些特征既表现出对象内一致性，也表现出对象间区分性。然后，我们提出了一个两阶段码本，从粗到细地离散化这些特征。在粗粒度阶段，我们考虑 3D 点的位置信息以实现基于位置的聚类，然后在细粒度阶段进行细化。最后，我们引入了一种实例级 3D-2D 特征关联方法，将 3D 点链接到 2D 掩码，这些掩码进一步与 2D CLIP 特征相关联。大量的实验，包括基于开放词汇的 3D 对象选择、3D 点云理解、基于点击的 3D 对象选择和消融研究，证明了我们提出方法的有效性。源代码可在我们的项目页面获取：https://3d-aigc.github.io/OpenGaussian
引用
@article{arxiv.2406.02058,
title = {OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding},
author = {Yanmin Wu and Jiarui Meng and Haijie Li and Chenming Wu and Yahao Shi and Xinhua Cheng and Chen Zhao and Haocheng Feng and Errui Ding and Jingdong Wang and Jian Zhang},
journal= {arXiv preprint arXiv:2406.02058},
year = {2024}
}
备注
NeurIPS2024