Consistent3D：利用确定性采样先验实现一致高保真文本到3D生成

分数蒸馏采样（SDS）及其变体极大地推动了文本到3D生成的发展，但仍易出现几何坍塌和纹理质量差的问题。为了解决这个问题，我们首先深入分析了SDS，发现其蒸馏采样过程实际上对应于随机微分方程（SDE）的轨迹采样：SDE沿SDE轨迹采样以生成一个噪声较小的样本，然后该样本作为指导来优化3D模型。然而，SDE采样中的随机性通常导致样本多样且不可预测，并不总是噪声更小，因此不是始终正确的指导，这解释了SDS的脆弱性。由于对于任何SDE，总存在一个常微分方程（ODE），其轨迹采样可以确定性地且一致地收敛到与SDE相同的期望目标点，我们提出了一种新颖且有效的“Consistent3D”方法，该方法探索了ODE确定性采样先验用于文本到3D生成。具体来说，在每个训练迭代中，给定由3D模型渲染的图像，我们首先通过预训练的2D扩散模型估计其期望的3D分数函数，并构建一个用于轨迹采样的ODE。接下来，我们设计了一个一致性蒸馏采样损失，该损失沿ODE轨迹采样以生成两个相邻样本，并使用噪声较小的样本指导另一个噪声较大的样本，从而将确定性先验蒸馏到3D模型中。实验结果表明，我们的Consistent3D在生成高保真且多样化的3D物体和大规模场景方面具有有效性，如图1所示。代码可在https://github.com/sail-sg/Consistent3D获取。