用于图像到3D生成的大型点到高斯模型

最近，基于大规模重建模型的图像到3D方法在生成3D资产的质量和速度方面取得了显著进展，尤其是3D高斯重建模型。现有的大规模3D高斯模型直接将2D图像映射到3D高斯参数，而在没有3D先验条件的情况下，对2D图像回归到3D高斯表示具有挑战性。本文提出了一种大型点到高斯模型，该模型以条件于2D图像的大规模3D扩散模型生成的初始点云为输入，用于图像到3D的生成。点云为高斯生成提供初始的3D几何先验，从而显著促进了图像到3D的生成。此外，我们提出了注意力机制、投影机制和点特征提取器，称为APP模块，用于融合图像特征与点云特征。定性和定量实验在GSO和Objaverse数据集上广泛证明了所提出方法的有效性，并显示该方法实现了最先进的性能。