StyleTex：基于风格图像引导的 3D 模型纹理生成

风格引导纹理生成旨在给定参考风格图像和带文本描述的 3D 网格，生成与其几何结构和参考图像风格相谐和一致的纹理。虽然基于扩散的 3D 纹理生成方法（如蒸馍采样）在风格化游戏和电影中具有众多前景应用，但需要解决两个挑战：1）从参考图像中完全解耦风格与内容以适用于 3D 模型，2）对生成的纹理进行色调、风格与给定文本提示的对齐。为此，我们引入 StyleTex，一个创新的基于扩散模型的框架，用于创建 3D 模型的风格化纹理。我们的关键洞察是通过忽略扩散-based 蒸馍采样中的内容，在参考图像上解耦风格信息。具体而言，给定参考图像，我们首先通过减去表示内容特征的文本 CLIP 嵌入在内容特征（由文本 CLIP 嵌入表示）的正交投影方向上，从图像 CLIP 嵌入中分离出其风格特征。我们的方法巧妙地实现了对参考图像风格与内容信息的解耦，使我们能够生成独立的风格特征和内容特征。随后，我们将风格特征注入交叉注意力机制以纳入生成过程，同时利用内容特征作为负面提示符进一步解耦内容信息。最终，我们将这些策略整合到 StyleTex 中，以获得风格化纹理。生成的纹理保留了参考图像的风格，同时与文本提示和给定 3D 网格的内在细节保持一致。定量和定性实验表明，我们的方法在与现有基线方法相比显著优于。