GOI：基于可优化语义空间超平面的 3D 高斯兴趣检测
计算机视觉与模式识别
2024-07-30 v2
摘要
3D 开放词汇场景理解是推进增强现实和机器人应用的关键技术，涉及根据自然语言指令解释和定位 3D 空间中的特定区域。为此，我们引入 GOI 框架，将 2D 视觉语言基础模型的语义特征整合到 3D 高斯溅写（3DGS）中，通过可优化的语义空间超平面识别 3D 高斯兴趣点。我们的方法包括一种高效压缩技术，利用场景先验将噪声高维语义特征压缩为紧凑的低维向量，并嵌入 3DGS。在开放词汇查询过程中，我们采用与现有方法不同的做法：现有方法依赖手动设置的固定经验阈值来选择基于语义特征与查询文本嵌入距离的区域；这种传统方法普遍缺乏通用准确性，导致难以精确识别特定目标区域。相反，我们的方法将特征选择过程视为特征空间中的超平面分割，仅保留与查询高度相关的特征。我们利用现成的 2D 指代表达分割（RES）模型对语义空间超平面进行微调，从而实现对目标区域与其他区域的更精确区分。这种微调显著提升了开放词汇查询的准确性，确保了相关 3D 高斯的精确定位。大量实验表明，GOI 在已有 SOTA 方法之上具有优势。项目页面地址为 https://quyans.github.io/GOI-Hyperplane/。
引用
@article{arxiv.2405.17596,
title = {GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane},
author = {Yansong Qu and Shaohui Dai and Xinyang Li and Jianghang Lin and Liujuan Cao and Shengchuan Zhang and Rongrong Ji},
journal= {arXiv preprint arXiv:2405.17596},
year = {2024}
}
备注
Our project page is available at https://quyans.github.io/GOI-Hyperplane/