野生高斯:野外的 3D 高斯溅射
计算机视觉与模式识别
2024-11-01 v2
摘要
虽然 3D 场景重建领域主要由 NeRFs 主导，因其光影逼真度而备受推崇，但 3D 高斯溅射 (3DGS) 近期涌现，提供相似的画质且具实时渲染速度. 然而，这两种方法都主要在受控的 3D 场景中表现突出，而“野生”数据—— characterized by occlusions, 动态对象及变化照明——仍具挑战. NeRFs 可通过 per-image 嵌入向量轻松适应此类条件，但 3DGS 因其显式表征缺乏共享参数而难以应对. 为此，我们提出 WildGaussians，一种处理遮挡与外观变化的 3DGS 方法. 通过利用鲁棒的 DINO 特征并集成外观建模模块于 3DGS 中，我们的方法实现了最先进的成果. 我们展示，WildGaussians 在处理野生数据方面，不仅匹配 3DGS 的实时渲染速度，还在保持简单架构框架的同时超越了 3DGS 与 NeRF 的基线.
引用
@article{arxiv.2407.08447,
title = {WildGaussians: 3D Gaussian Splatting in the Wild},
author = {Jonas Kulhanek and Songyou Peng and Zuzana Kukelova and Marc Pollefeys and Torsten Sattler},
journal= {arXiv preprint arXiv:2407.08447},
year = {2024}
}
备注
NeurIPS 2024; Project page: https://wild-gaussians.github.io/