重新思考辐射场的开放词汇3D分割
计算机视觉与模式识别
2025-02-24 v3
摘要
理解场景的3D语义是具身智能等众多应用中的一个基本问题。虽然神经辐射场（NeRF）和3D高斯泼溅（3DGS）在视角合成方面表现出色，但以往的方法对3D场景的理解仅限于2D：它们的分割结果以2D掩码形式呈现，并未覆盖整个3D空间。为了解决这一局限性，我们重新定义问题为直接在3D空间中进行分割，并提出以下方法以实现更完整的3D理解：与以往在2D像素上施加监督的方法不同，我们直接监督3D点来训练语言嵌入场。我们将学习到的语言场迁移到3DGS，在不牺牲训练时间的前提下，首次实现了实时渲染速度。最后，我们提出了一种3D查询和评估协议，用于评估重建的几何和语义质量。代码、检查点和标注可在项目页面获取。
引用
@article{arxiv.2408.07416,
title = {Rethinking Open-Vocabulary Segmentation of Radiance Fields in 3D Space},
author = {Hyunjee Lee and Youngsik Yun and Jeongmin Bae and Seoha Kim and Youngjung Uh},
journal= {arXiv preprint arXiv:2408.07416},
year = {2025}
}
备注
AAAI 2025. Project page: https://hyunji12.github.io/Open3DRF