Splatt3R：从未校准的图像对零样本生成高斯溅射
计算机视觉与模式识别
2024-08-29 v2 机器学习
摘要
本文介绍了 Splatt3R，这是一种无姿态、基于 feed-forward 方法，用于从立体对实现野生环境 3D 重建和新视角合成。给定未校准的自然图像，Splatt3R 可预测 3D 高斯溅射，而无需任何相机参数或深度信息。为了提高通用性，我们基于“基础”3D几何重建方法 MASt3R 构建 Splatt3R，将其扩展以处理 3D 结构和外观。具体而言，与原始 MASt3R 仅重建 3D 点云不同，Splatt3R 预测构建每个点所需的额外高斯属性。因此，与其他新视角合成方法不同，Splatt3R 通过优化 3D 点云的几何损失进行训练，然后使用新视角合成目标进行训练。通过这种方式，我们避免了从立体视图训练 3D 高斯溅射时可能出现的局部最小值。我们还提出了一种新颖的损失掩码策略，我们经验发现这对于在外推视角上取得卓越性能至关重要。我们在 ScanNet++ 数据集上训练 Splatt3R，并在未校准的野生环境图像上演示了优异的泛化能力。Splatt3R 可以 4FPS 的速度在 512×512 分辨率下重建场景，生成的溅射可实现实时渲染。
引用
@article{arxiv.2408.13912,
title = {Splatt3R: Zero-shot Gaussian Splatting from Uncalibrated Image Pairs},
author = {Brandon Smart and Chuanxia Zheng and Iro Laina and Victor Adrian Prisacariu},
journal= {arXiv preprint arXiv:2408.13912},
year = {2024}
}
备注
Our project page can be found at: https://splatt3r.active.vision/