Feature 3DGS：增强 3D 高斯泼溅以实现蒸馏特征场
计算机视觉与模式识别
2024-04-09 v3
摘要
3D 场景表示近年来获得了极大的普及。使用神经辐射场的方法在新视角合成等传统任务中表现出通用性。近期，一些工作旨在将 NeRF 的功能扩展到视角合成之外，通过从 2D 基础模型蒸馏 3D 特征场，用于语义感知任务，如编辑和分割。然而，这些方法存在两个主要局限：(a) 它们受限于 NeRF 管线的渲染速度，(b) 隐式表示的特征场存在连续性伪影，降低了特征质量。最近，3D 高斯泼溅在实时辐射场渲染方面展现了最先进的性能。在这项工作中，我们更进一步：除了辐射场渲染，我们还通过 2D 基础模型蒸馏，实现了任意维度语义特征的 3D 高斯泼溅。这种迁移并非易事：在 3DGS 框架中直接引入特征场会遇到显著挑战，特别是 RGB 图像与特征图之间在空间分辨率和通道一致性上的差异。我们提出了架构和训练上的改进以有效避免此问题。我们提出的方法是通用的，实验展示了通过从最先进的 2D 基础模型（如 SAM 和 CLIP-LSeg）学习特征场，实现了新视角语义分割、语言引导编辑和分割一切。在各项实验中，我们的蒸馏方法能够提供可比或更优的结果，同时训练和渲染速度显著更快。此外，据我们所知，我们是首个通过利用 SAM 模型实现辐射场操纵的点和边界框提示的方法。项目网站：https://feature-3dgs.github.io/
引用
@article{arxiv.2312.03203,
title = {Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields},
author = {Shijie Zhou and Haoran Chang and Sicheng Jiang and Zhiwen Fan and Zehao Zhu and Dejia Xu and Pradyumna Chari and Suya You and Zhangyang Wang and Achuta Kadambi},
journal= {arXiv preprint arXiv:2312.03203},
year = {2024}
}