GeoWizard：释放扩散先验用于单图像 3D 几何估计

我们介绍了 GeoWizard，这是一种新颖的生成式基础模型，旨在从单图像中估计几何属性，例如深度和法线。尽管该领域已经进行了大量研究，但公开可用数据集的低多样性和差质量极大地限制了进展。因此，先前的工作要么局限于有限场景，要么无法捕获几何细节。在本文中，我们证明生成模型与传统判别模型（例如 CNN 和 Transformer）相比，能够有效解决这一固有的不适定问题。我们进一步表明，利用扩散先验可以显著改善泛化能力、细节保留和资源使用效率。具体而言，我们扩展了原始的 stable diffusion 模型以联合预测深度和法线，允许两者之间的信息交换和高一致性。更重要的是，我们提出了一种简单而有效的策略，将各种场景的复杂数据分布分离为不同的子分布。该策略使我们的模型能够识别不同的场景布局，以卓越的保真度捕获 3D 几何。GeoWizard 为零样本深度和法线预测设定了新的基准，显著增强了诸多下游应用，如 3D 重建、2D 内容创建和新视点合成。