通过大规模重建模型实现3D风格化

随着文本或图像引导的3D生成器取得的成功不断增长，用户对生成过程的控制需求日益增长，其中一种需求是外观风格化。给定一个参考图像，这需要调整生成3D资产的外观，以反映参考图像的视觉风格，同时从多个视角保持视觉一致性。为解决这一问题，我们借鉴了成功利用大型图像生成模型注意力机制捕捉和传递视觉风格的2D风格化方法的经验。特别地，我们探究了大规模重建模型（通常用于3D生成的上下文）是否具有类似能力。我们发现，这些模型中的某些注意力块捕捉了特定于外观的特征。通过向此类注意力块注入来自视觉风格图像的特征，我们开发了一种简单而有效的3D外观风格化方法。该方法无需训练或测试时优化。通过定量和定性评估，我们证明了该方法在3D外观风格化方面取得优异结果，显著提高了效率，同时保持高质量的视觉效果。