Text2Tex：基于扩散模型的文本驱动纹理合成
计算机视觉与模式识别
2023-03-22 v1
摘要
我们提出 Text2Tex，一种从给定文本提示为 3D 网格生成高质量纹理的新方法。我们的方法将修复（inpainting）融入预训练的深度感知图像扩散模型，以从多个视角逐步合成高分辨率局部纹理。为避免跨视角累积不一致和拉伸伪影，我们动态地将渲染视图分割为生成掩码，其表示每个可见纹素（texel）的生成状态。这种分区视图表示引导深度感知修复模型为相应区域生成并更新局部纹理。此外，我们提出一种自动视图序列生成方案，以确定用于更新局部纹理的下一最佳视角。大量实验表明，我们的方法显著优于现有文本驱动方法与基于 GAN 的方法。
引用
@article{arxiv.2303.11396,
title = {Text2Tex: Text-driven Texture Synthesis via Diffusion Models},
author = {Dave Zhenyu Chen and Yawar Siddiqui and Hsin-Ying Lee and Sergey Tulyakov and Matthias Nießner},
journal= {arXiv preprint arXiv:2303.11396},
year = {2023}
}
备注
Project page: https://daveredrum.github.io/Text2Tex/