HiSplat: 用于可泛化稀疏视角重建的分层三维高斯泼溅
计算机视觉与模式识别
2024-10-10 v1
摘要
从多个视角重建三维场景是立体视觉中的一项基本任务。最近，可泛化的三维高斯泼溅（3D Gaussian Splatting）取得了进展，通过前馈预测逐像素高斯参数，无需额外优化即可从稀疏输入视角对未见场景进行高质量的新视角合成。然而，现有方法通常生成单尺度的三维高斯体，缺乏对大规模结构和纹理细节的表示，导致定位错误和伪影。在本文中，我们提出了一个新颖的框架 HiSplat，它在可泛化的三维高斯泼溅中引入了一种分层方式，通过从粗到细的策略构建分层三维高斯体。具体来说，HiSplat 首先生成大的粗粒度高斯体以捕获大规模结构，然后生成细粒度高斯体以增强精细纹理细节。为了促进尺度间的交互，我们提出了用于高斯补偿的误差感知模块（Error Aware Module）和用于高斯修复的调制融合模块（Modulating Fusion Module）。我们的方法实现了分层表示的联合优化，允许仅使用两视角参考图像进行新视角合成。在多个数据集上的综合实验表明，与先前的单尺度方法相比，HiSplat 显著提升了重建质量和跨数据集泛化能力。相应的消融研究和对不同尺度三维高斯体的分析揭示了其有效性背后的机制。项目网站：https://open3dvlab.github.io/HiSplat/
引用
@article{arxiv.2410.06245,
title = {HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction},
author = {Shengji Tang and Weicai Ye and Peng Ye and Weihao Lin and Yang Zhou and Tao Chen and Wanli Ouyang},
journal= {arXiv preprint arXiv:2410.06245},
year = {2024}
}