用于实时渲染超大数据集的层次化 3D 高斯表示
计算机视觉与模式识别
2024-06-19 v1 图形学
摘要
近年来，3D 高斯溶解在新视图合成领域取得了重要进展，展现出卓越的视觉质量、快速训练和实时渲染能力。然而，训练和渲染所需的资源不可避免地限制了能够以良好视觉质量表征的捕获场景规模。我们引入一种 3D 高斯的层次结构，既保留视觉质量，又为渲染远处内容提供高效的细节层级(LOD)解决方案，实现有效的层级选择和层级间的平滑过渡。我们提出一种分治方法，使我们能够独立训练超大场景的多个块。我们将这些块整合成层次结构，并进一步优化以提高合并到中间节点的高斯的视觉质量。超大捕获数据集通常在场景中稀疏覆盖，这给原始 3D 高斯溶解训练方法带来诸多挑战；我们对训练方法进行适应和正则化，以应对这些问题。我们提供了完整解决方案，使能够实时渲染超大场景，并能根据可用资源灵活适应。我们展示了针对最高可达数万张图像、使用简单且经济的设备、覆盖数公里轨迹、持续时间最长达一小时的捕获场景的结果。项目页面: https://repo-sam.inria.fr/fungraph/hierarchical-3d-gaussians/
引用
@article{arxiv.2406.12080,
title = {A Hierarchical 3D Gaussian Representation for Real-Time Rendering of Very Large Datasets},
author = {Bernhard Kerbl and Andréas Meuleman and Georgios Kopanas and Michael Wimmer and Alexandre Lanvin and George Drettakis},
journal= {arXiv preprint arXiv:2406.12080},
year = {2024}
}
备注
Project Page: https://repo-sam.inria.fr/fungraph/hierarchical-3d-gaussians/