GenesisTex：将图像去噪扩散适用于纹理空间

我们提出了GenesisTex，一种用于从文本描述合成3D几何体纹理的新方法。GenesisTex通过纹理空间抽样适配预训练的图像扩散模型。具体而言，我们为每个视角保持一个潜在纹理图，根据该视角的渲染结果更新预测噪声。然后，将抽样的潜在纹理图解码为最终纹理图。在抽样过程中，我们关注多个视角之间的全局一致性和局部一致性：通过在噪声预测网络中集成风格一致性机制来实现全局一致性，通过动态对齐潜在纹理来实现低层次一致性。最后，我们对更密集的视角应用基于参考的inpainting和img2img进行纹理细化。我们的做法克服了基于蒸馏方法中慢速优化的局限性以及基于inpainting方法中的不稳定性。来自各种来源的网格进行实验，表明我们的方法在定量和定性方面均优于基线方法。