pixelSplat：基于图像对的 3D 高斯泼溅用于可扩展的泛化 3D 重建
计算机视觉与模式识别
2024-04-08 v4 机器学习
摘要
我们介绍了 pixelSplat，这是一种前馈模型，它学习从图像对中重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时且内存高效的渲染能力，支持可扩展训练以及推理时的快速 3D 重建。为了克服稀疏且局部支持的表示固有的局部极小值问题，我们预测了 3D 上的密集概率分布，并从该概率分布中采样高斯均值。我们通过重参数化技巧使该采样操作可微，从而允许梯度通过高斯泼溅表示进行反向传播。我们在真实世界 RealEstate10k 和 ACID 数据集上的宽基线新视角合成任务上对我们的方法进行了基准测试，在此过程中我们超越了 SOTA 的光场 Transformer，并将渲染速度加快了 2.5 个数量级，同时重建了可解释且可编辑的 3D 辐射场。
引用
@article{arxiv.2312.12337,
title = {pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction},
author = {David Charatan and Sizhe Li and Andrea Tagliasacchi and Vincent Sitzmann},
journal= {arXiv preprint arXiv:2312.12337},
year = {2024}
}
备注
Project page: https://dcharatan.github.io/pixelsplat