Paint-it：基于深度卷积纹理贴图优化与物理渲染的文本到纹理合成
计算机视觉与模式识别
2024-05-08 v2 人工智能
图形学
摘要
我们提出了 Paint-it，一种通过神经重参数化纹理优化，为 3D 网格实现文本驱动的高保真纹理贴图合成方法。Paint-it 通过优化过程中的合成，利用分数蒸馏采样 (SDS) 从文本描述合成纹理贴图。我们观察到，直接应用 SDS 会因其梯度噪声而产生不理想的纹理质量。我们揭示了在使用 SDS 时纹理参数化的重要性。具体而言，我们提出了深度卷积物理渲染 (DC-PBR) 参数化方法，该方法使用随机初始化的基于卷积的神经核来重参数化物理渲染 (PBR) 纹理贴图，而非标准的基于像素的参数化。我们表明，DC-PBR 能够根据纹理频率内在调度优化课程，并自然过滤掉来自 SDS 的噪声信号。实验表明，Paint-it 仅凭文本描述即可在 15 分钟内获得高质量的 PBR 纹理贴图。我们通过为大规模网格数据集合成高质量纹理贴图，并展示诸如使用流行图形引擎进行重照明和材质控制等测试时应用，证明了 Paint-it 的通用性和实用性。项目主页：https://kim-youwang.github.io/paint-it
引用
@article{arxiv.2312.11360,
title = {Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering},
author = {Kim Youwang and Tae-Hyun Oh and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2312.11360},
year = {2024}
}
备注
CVPR 2024. Project page: https://kim-youwang.github.io/paint-it