对应点引导的无SfM 3D高斯溅射用于新视角合成
计算机视觉与模式识别
2024-08-19 v1 人工智能
摘要
无需运动恢复结构(SfM)预处理相机位姿的新视角合成(NVS)——称为无SfM方法——对于促进快速响应能力和增强对可变运行条件的鲁棒性至关重要。最近的无SfM方法集成了位姿优化，设计了用于联合相机位姿估计和NVS的端到端框架。然而，大多数现有工作依赖于逐像素图像损失函数，如L2损失。在无SfM方法中，不准确的初始位姿导致对齐问题，在逐像素图像损失函数的约束下，产生过大的梯度，导致NVS优化不稳定和收敛不良。在本研究中，我们提出了一种对应点引导的无SfM 3D高斯溅射用于NVS。我们利用目标与渲染结果之间的对应点来实现更好的像素对齐，促进帧间相对位姿的优化。然后我们应用学习到的位姿来优化整个场景。每个2D屏幕空间像素通过近似表面渲染与其对应的3D高斯相关联，以促进梯度反向传播。实验结果表明，所提出的方法在性能和时效性方面优于最先进的基线。
引用
@article{arxiv.2408.08723,
title = {Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS},
author = {Wei Sun and Xiaosong Zhang and Fang Wan and Yanzhao Zhou and Yuan Li and Qixiang Ye and Jianbin Jiao},
journal= {arXiv preprint arXiv:2408.08723},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2312.07504 by other authors