SC-OmniGS:自校准全向高斯泼溅
计算机视觉与模式识别
2025-02-10 v1 图形学
摘要
360 度相机通过捕获全面的场景数据,简化了辐射场三维重建的数据采集过程。然而,传统的辐射场方法并未解决 360 度图像所固有的特定挑战。我们提出 SC-OmniGS,一种新颖的自校准全向高斯泼溅系统,用于使用 360 度图像进行快速且准确的全向辐射场重建。我们没有将 360 度图像转换为立方体贴图并进行透视图像校准,而是将 360 度图像视为一个完整的球体,并推导出一个数学框架,该框架能够实现直接的全向相机位姿校准,并伴随三维高斯优化。此外,我们引入了一个可微的全向相机模型,以校正真实世界数据的畸变,从而提升性能。总体而言,全向相机内参模型、外部位姿和三维高斯通过最小化加权球面光度损失进行联合优化。大量实验表明,我们提出的 SC-OmniGS 能够在具有宽基线和非物体中心配置等挑战性场景中,从含噪声的相机位姿甚至无位姿先验的条件下恢复出高质量的辐射场。在由消费级全向相机捕获的真实世界数据集上取得的显著性能提升,验证了我们通用全向相机模型在减少 360 度图像畸变方面的有效性。
引用
@article{arxiv.2502.04734,
title = {SC-OmniGS: Self-Calibrating Omnidirectional Gaussian Splatting},
author = {Huajian Huang and Yingshu Chen and Longwei Li and Hui Cheng and Tristan Braud and Yajie Zhao and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:2502.04734},
year = {2025}
}
备注
Accepted to ICLR 2025, Project Page: http://www.chenyingshu.com/sc-omnigs/