无需 COLMAP 的 3D Gaussian Splatting

Yang Fu; Sifei Liu; Amey Kulkarni; Jan Kautz; Alexei A. Efros; Xiaolong Wang

无需 COLMAP 的 3D Gaussian Splatting

计算机视觉与模式识别 2024-07-31 v2

作者: Yang Fu , Sifei Liu , Amey Kulkarni , Jan Kautz , Alexei A. Efros , Xiaolong Wang

摘要

虽然神经渲染在场景重建与新视角合成方面取得了令人瞩目的进展，但它严重依赖于精确预计算的相机位姿。为放宽这一约束，已有诸多努力致力于在无需预处理相机位姿的情况下训练神经辐射场。然而，NeRF 的隐式表示为同时优化 3D 结构与相机位姿带来了额外挑战。另一方面，最近提出的 3D Gaussian Splatting 因其显式点云表示而提供了新机遇。本文利用显式几何表示与输入视频流的连续性，在无需任何 SfM 预处理的情况下执行新视角合成。我们以顺序方式处理输入帧，每次取一帧输入帧来渐进式地增长 3D 高斯集合，无需预计算相机位姿。我们的方法在大幅运动变化下的视角合成与相机位姿估计方面，显著优于以往方法。我们的项目主页为 https://oasisyang.github.io/colmap-free-3dgs

关键词

3D Gaussian Splatting 新视角合成相机位姿估计神经渲染运动恢复结构

引用

@article{arxiv.2312.07504,
  title  = {COLMAP-Free 3D Gaussian Splatting},
  author = {Yang Fu and Sifei Liu and Amey Kulkarni and Jan Kautz and Alexei A. Efros and Xiaolong Wang},
  journal= {arXiv preprint arXiv:2312.07504},
  year   = {2024}
}

备注

Project Page: https://oasisyang.github.io/colmap-free-3dgs

无需 COLMAP 的 3D Gaussian Splatting

摘要

关键词

引用

备注

相关论文