ODGS：基于 3D Gaussian Splatting 的全景图像 3D 场景重建
计算机视觉与模式识别
2024-10-29 v1
摘要
全景（或 360 度）图像正越来越多地被用于 3D 应用，因为它们允许用单张图像渲染整个场景。基于神经辐射场 (NeRF) 的现有工作在以自我为中心的视频上展示了成功的 3D 重建质量，但它们受制于漫长的训练和渲染时间。最近，3D Gaussian Splatting 因其快速优化和实时渲染而受到关注。然而，由于两种图像域之间的光学属性不同，直接将透视光栅化器用于全景图像会导致严重失真。在这项工作中，我们提出了 ODGS，一种具有几何解释的、用于全景图像的新颖光栅化流水线。对于每个 Gaussian，我们定义一个与单位球体相切且垂直于指向 Gaussian 中心射线的切平面。然后，我们利用透视相机光栅化器将 Gaussian 投影到相应的切平面上。投影后的 Gaussian 被变换并组合到全景图像中，完成全景光栅化过程。这一解释揭示了所提流水线内的隐含假设，我们通过数学证明对其进行了验证。整个光栅化过程使用 CUDA 并行化，实现了比基于 NeRF 的方法快 100 倍的优化和渲染速度。我们全面的实验突出了 ODGS 的优越性，在各种数据集上提供了最佳的重建和感知质量。此外，在漫游数据集上的结果表明，即使在重建大型 3D 场景时，ODGS 也能有效恢复精细细节。源代码可在我们的项目页面 (https://github.com/esw0116/ODGS) 获取。
引用
@article{arxiv.2410.20686,
title = {ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings},
author = {Suyoung Lee and Jaeyoung Chung and Jaeyoo Huh and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2410.20686},
year = {2024}
}