Look Gauss, No Pose：无需精确姿态初始化的高斯溅射新视角合成
计算机视觉与模式识别
2024-10-14 v1
摘要
3D 高斯溅射最近涌现为一种快速且准确的从带姿态输入图像进行新视角合成的强大工具。然而，像大多数新视角合成方法一样，它依赖于准确的相机姿态信息，限制了其在实际场景中的适用性，其中获取准确相机姿态可能具有挑战性甚至不可能。在本工作中，我们将 3D 高斯溅射框架扩展，通过优化相机外参以光谱残差为准则来实现。我们推导了解析梯度并将其计算与现有高性能 CUDA 实现集成。这使得诸如 6 自由度相机姿态估计以及几何与相机共同优化等下游任务成为可能。特别是，我们在真实场景上实现了快速收敛和高精度姿态估计。我们的方法无需准确姿态信息即可快速重建 3D 场景，同时在几何和相机姿态联合优化方面实现了最先进的效果。我们的做法比大多数竞争方法优化得更快，在渲染方面也快数倍。我们在真实场景和复杂轨迹上展示了结果，在 LLFF 数据集上实现了最先进的效果，同时将运行时间缩短了 2 至 4 倍。源代码将在 https://github.com/Schmiddo/noposegs 上发布。
引用
@article{arxiv.2410.08743,
title = {Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization},
author = {Christian Schmidt and Jens Piekenbrinck and Bastian Leibe},
journal= {arXiv preprint arXiv:2410.08743},
year = {2024}
}
备注
Accepted in IROS 2024