GeoDream：解耦 2D 与几何先验以实现高保真且一致的 3D 生成

通过蒸馏预训练大规模文本到图像扩散模型进行文本到 3D 生成已展现出巨大前景，但仍受不一致 3D 几何结构（Janus 问题）和严重伪影的困扰。上述问题的主因在于 2D 扩散模型在提升过程中缺乏 3D 感知。在本工作中，我们提出 GeoDream，一种将显式泛化 3D 先验与 2D 扩散先验结合的新方法，以增强获取明确 3D 一致几何结构的能力，且不牺牲多样性或保真度。具体而言，我们首先利用多视图扩散模型生成带位姿图像，然后从预测图像构建代价体积（cost volume），其作为原生 3D 几何先验，确保 3D 空间中的空间一致性。随后，我们进一步提出通过解耦设计利用 3D 几何先验释放 2D 扩散先验中 3D 感知的巨大潜力。值得注意的是，解耦 2D 与 3D 先验使我们能进一步精炼 3D 几何先验。我们论证了精炼的 3D 几何先验有助于 2D 扩散先验的 3D 感知能力，而后者又为 3D 几何先验的精炼提供优越引导。我们的数值与视觉对比表明，GeoDream 生成了更具 3D 一致性的带纹理网格，具有高分辨率逼真渲染（即 1024 $\times$ 1024），且更贴合语义连贯性。