一课经验：基于 2D 监督的 3D 高斯溅生成的教师引导扩散

我们提出了一种新框架，用于仅通过 2D 监督训练 3D 图像条件扩散模型。从 2D 图像恢复 3D 结构是本质上病态的，因为可能的重建存在歧义，使得生成模型成为自然选择。然而，大多数现有 3D 生成模型依赖于完整的 3D 监督，而这由于 3D 数据集规模不足而难以实现。为此，我们提出利用稀疏视图监督作为可扩展的替代方案。虽然最近的重建模型使用稀疏视图监督结合可微分渲染将 2D 图像提升至 3D，但它们主要是确定性的，无法捕捉一组可能的解决方案，在不确定区域生成模糊预测。在 2D 监督下训练 3D 扩散模型的关键挑战在于，标准训练范例要求去噪过程和监督信号处于同一模态。我们通过将待去噪的噪声样本与监督信号解耦，使前者保持在 3D 中，而后者提供在 2D 中。我们的方法利用来自确定性图像到 3D 模型（作为“教师”）的次优预测生成噪声 3D 输入，从而在不要求完整 3D 真实值的情况下实现有效的 3D 扩散训练。我们在对象级和场景级数据集上验证了该框架，使用两种不同的 3D 高斯溅 (3DGS) 教师。我们的结果表明，我们的方法在这些确定性教师之上 consistently 提升，展示了其在可扩展且高保真 3D 生成建模中的有效性。请参见我们的项目页面 https://lesson-in-splats.github.io/。