TranSplat：基于Transformer的稀疏多视角图像通用3D高斯溅射
计算机视觉与模式识别
2024-08-27 v1
摘要
与之前的3D重建方法（如NeRF）相比，近期的通用3D高斯溅射（G-3DGS）方法在稀疏视角设置下展现出惊人的效率。然而，现有G-3DGS方法的优异重建性能严重依赖于准确的多视角特征匹配，这在实际中颇具挑战性。尤其对于那些不同视角间存在大量非重叠区域且包含众多相似区域的场景，现有方法的匹配性能较差，导致重建精度受限。为此，我们开发了一种利用预测深度置信度图引导精确局部特征匹配的策略。此外，我们提出利用现有单目深度估计模型的知识作为先验，以提升非重叠视角区域深度估计的精度。结合上述策略，我们提出一种新型G-3DGS方法，命名为TranSplat。该方法在RealEstate10K和ACID基准测试中取得最佳性能，同时保持竞争的速度并展现出强大的跨数据集泛化能力。我们的代码和演示将在：https://xingyoujun.github.io/transplat 公开。
关键词
引用
@article{arxiv.2408.13770,
title = {TranSplat: Generalizable 3D Gaussian Splatting from Sparse Multi-View Images with Transformers},
author = {Chuanrui Zhang and Yingshuang Zou and Zhuoling Li and Minmin Yi and Haoqian Wang},
journal= {arXiv preprint arXiv:2408.13770},
year = {2024}
}