语义控制高斯溅射：面向户外场景的虚拟现实重建与渲染
计算机视觉与模式识别
2024-09-25 v1 图形学
摘要
高斯溅射（Gaussian Splatting, GS）等 3D 渲染技术的进步，使小说视图合成和虚拟现实（VR）中的实时渲染成为可能。然而，由 GS 创建的 3D 环境往往难以编辑。为场景增强或融合 3D 资产，按类别分割高斯点至关重要。现有分割方法通常仅限于特定场景类型（如“圆形”场景），以确定清晰的目标边界。然而，在大型户外场景等非“环形”场景中去除大型目标时，这种方法不够有效。我们提出语义控制高斯溅射（Semantics-Controlled GS, SCGS），一种以分割驱动的 GS 方法，使其能够在不受控制的自然环境中分离大型场景部分。SCGS 允许场景编辑和 VR 中的场景部分提取。此外，我们引入一个挑战性的户外数据集，克服了“环形” setup 的局限。我们在该数据集上优于最先进方法在视觉质量方面，在 3D-OVS 数据集上在分割质量方面优于最先进方法。我们进行了探索性用户研究，比较了 360 视频、普通 GS 和 SCGS 在 VR 中的固定视点。随后进行主要研究，用户可自由移动，评估普通 GS 和 SCGS。主要研究结果显示，参与者明显偏好 SCGS 而非普通 GS。我们整体上提出一种技术和用户体验均超越最先进方法的创新方案。
引用
@article{arxiv.2409.15959,
title = {Semantics-Controlled Gaussian Splatting for Outdoor Scene Reconstruction and Rendering in Virtual Reality},
author = {Hannah Schieber and Jacob Young and Tobias Langlotz and Stefanie Zollmann and Daniel Roth},
journal= {arXiv preprint arXiv:2409.15959},
year = {2024}
}