用于可泛化新视角合成的无极线 3D 高斯溅射
计算机视觉与模式识别
2024-11-01 v2
摘要
可泛化的 3D 高斯溅射可以从稀疏视角观测中以前馈推理方式重建新场景，消除了传统 3DGS 所需的场景特定重新训练。然而，现有方法严重依赖极线先验，这在复杂真实场景中可能不可靠，特别是在非重叠和遮挡区域。在本文中，我们提出了 eFreeSplat，一个高效的前馈 3DGS 模型，用于可泛化的新视角合成，独立于极线约束。为了通过 3D 感知增强多视角特征提取，我们采用了一种自监督 Vision Transformer（ViT），并在大规模数据集上进行了跨视角补全预训练。此外，我们引入了一种迭代跨视角高斯对齐方法，以确保不同视角之间深度尺度的一致性。我们的 eFreeSplat 代表了一种用于可泛化新视角合成的创新方法。与现有的纯几何无关方法不同，eFreeSplat 更侧重于通过跨视角预训练提供 3D 先验来实现无极线特征匹配与编码。我们在 RealEstate10K 和 ACID 数据集上的宽基线新视角合成任务上评估了 eFreeSplat。大量实验表明，eFreeSplat 超越了依赖极线先验的最先进基线，在几何重建和新视角合成质量方面取得了更优结果。项目页面：https://tatakai1.github.io/efreesplat/。
引用
@article{arxiv.2410.22817,
title = {Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis},
author = {Zhiyuan Min and Yawei Luo and Jianwen Sun and Yi Yang},
journal= {arXiv preprint arXiv:2410.22817},
year = {2024}
}
备注
NeurIPS 2024