用于文本到 3D 生成的检索增强分数蒸馏

文本到 3D 生成通过结合强大的 2D 扩散模型取得了显著成功，但 3D 先验知识的不足也导致了 3D 几何的不一致性。最近，随着大规模多视图数据集的发布，在多视图数据集上微调扩散模型已成为解决 3D 不一致性问题的主流方法。然而，与 2D 数据相比，该方法面临着 3D 数据质量和多样性有限的根本性困难。为了规避这些权衡，我们探索了一种专为分数蒸馏定制的检索增强方法，称为 ReDream。我们假设，通过在优化过程中直接利用语义相关的资产，可以充分发挥 2D 扩散模型的表达能力和 3D 资产的几何一致性。为此，我们引入了一种用于文本到 3D 生成中基于检索的质量提升的新框架。我们利用检索到的资产将其几何先验纳入变分目标，并调整扩散模型的 2D 先验以实现视图一致性，从而在生成场景的几何结构和保真度方面取得了显著改进。我们进行了大量实验，证明 ReDream 展现出更优的质量和更高的几何一致性。项目页面地址：https://ku-cvlab.github.io/ReDream/。