Gamba: 将高斯泼溅与 Mamba 结合用于单视图 3D 重建

我们致力于解决以毫秒级速度从单张图像高效重建 3D 资产的挑战。现有的单图像 3D 重建方法主要基于带有神经 3D 表示的分数蒸馏采样 (SDS)。尽管结果令人鼓舞，但由于优化过程漫长和内存消耗巨大，这些方法在实际应用中遇到限制。在本工作中，我们引入了 Gamba，一种从单视图图像进行端到端 3D 重建的模型，强调两个主要见解： 高效主干设计：引入基于 Mamba 的 GambaFormer 网络，将 3D 高斯泼溅 (3DGS) 重建建模为具有 token 长度线性可扩展性的序列预测，从而容纳大量高斯； 鲁棒的高斯约束：从多视图掩码导出径向掩码约束，以消除训练中 3D 点云的预热监督需求。我们在 Objaverse 上训练了 Gamba，并在 GSO 数据集上与现有的基于优化的和前馈 3D 重建方法进行了评估，其中 Gamba 是唯一使用 3DGS 进行端到端训练的单视图重建模型。实验结果在定性和定量上均展示了其具有竞争力的生成能力，并突出了其惊人的速度：Gamba 在单张 NVIDIA A100 GPU 上 0.05 秒内完成重建，比基于优化的方法快约 $1,000\times$。请参阅我们的项目页面 https://florinshen.github.io/gamba-project。