ZeroGS：从无相机位姿图像训练3D高斯溶解
计算机视觉与模式识别
2024-11-26 v1
摘要
神经辐射场(NeRF)和3D高斯溶解(3DGS)是重建和渲染逼真图像的流行技术。然而，运行结构从运动(SfM)以获取相机姿态的先决条件限制了其完整性。虽然先前的方法可以从少量无相机位姿图像进行重建，但当图像无序或密集采集时无法应用。在本工作中，我们提出了ZeroGS，从数百张无相机位姿且无序的图像训练3DGS。我们的方法利用预训练的基础模型作为神经场景表示。由于预测点图的准确性不足以实现准确的图像注册和高保真图像渲染，我们提出通过从单个种子图像初始化和微调预训练模型来缓解此问题。随后，图像逐步注册并添加到训练缓冲区，用于训练模型。我们还提出通过最小化跨多个视角的点到相机射线一致性损失来细化相机姿态和点图。实验在LLFF数据集、MipNeRF360数据集和Tanks-and-Temples数据集上进行，显示我们的方法比最先进的姿态-free NeRF/3DGS方法恢复更准确的相机姿态，甚至渲染出比3DGS使用COLMAP姿态更高质量的图像。我们的项目页面可在https://aibluefisher.github.io/ZeroGS访问。
引用
@article{arxiv.2411.15779,
title = {ZeroGS: Training 3D Gaussian Splatting from Unposed Images},
author = {Yu Chen and Rolandos Alexandros Potamias and Evangelos Ververas and Jifei Song and Jiankang Deng and Gim Hee Lee},
journal= {arXiv preprint arXiv:2411.15779},
year = {2024}
}
备注
16 pages, 12 figures