Splatter Image:超快单视图 3D 重建
计算机视觉与模式识别
2024-04-17 v2
摘要
我们引入了 \method,一种用于单目 3D 物体重建的超高效方法。Splatter Image 基于 Gaussian Splatting,该方法允许从多幅图像中快速且高质量地重建 3D 场景。我们通过学习一个神经网络将 Gaussian Splatting 应用于单目重建,该网络在测试时以 38 FPS 的速度以前馈方式进行重建。我们的主要创新在于该网络极其直观的设计,它使用 2D 算子将输入图像映射为每个像素对应的一个 3D 高斯。由此产生的高斯集合因此具有图像的形式,即 Splatter Image。我们进一步通过跨视图注意力机制扩展该方法,使其能够将多幅图像作为输入。由于渲染器的高速度(588 FPS),我们使用单个 GPU 进行训练,并在每次迭代时生成完整图像以优化 LPIPS 等感知指标。在多个合成、真实、多类别和大规模基准数据集上,我们在 PSNR、LPIPS 和其他指标方面取得了更好的结果,同时训练和评估速度远快于先前的工作。代码、模型、演示和更多结果可在 https://szymanowiczs.github.io/splatter-image 获取。
引用
@article{arxiv.2312.13150,
title = {Splatter Image: Ultra-Fast Single-View 3D Reconstruction},
author = {Stanislaw Szymanowicz and Christian Rupprecht and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2312.13150},
year = {2024}
}
备注
CVPR 2024. Project page: https://szymanowiczs.github.io/splatter-image.html . Code: https://github.com/szymanowiczs/splatter-image , Demo: https://huggingface.co/spaces/szymanowiczs/splatter_image