TEXTure：基于文本引导的三维形状纹理生成方法
计算机视觉与模式识别
2023-02-06 v1 图形学
摘要
本文提出 TEXTure，一种用于三维形状纹理的文本引导生成、编辑与迁移的新方法。借助预训练的深度到图像扩散模型，TEXTure 采用一种迭代方案从不同视角对三维模型进行绘制。然而，尽管深度到图像模型能从单一视角生成合理的纹理，生成过程的随机性在纹理化整个三维对象时会导致许多不一致。为解决这些问题，我们动态地将渲染图像划分为三种进展状态的 trimap（三分区），并提出一种利用该 trimap 表示的新型精细扩散采样过程，以从不同视图生成无缝纹理。接着我们展示，无需显式的面到面映射即可将生成的纹理图迁移到新的三维几何上，并且无需任何显式重建即可从一组图像中提取语义纹理。最后，我们展示 TEXTure 不仅可用于生成新纹理，还可利用文本提示或用户提供的涂鸦来编辑和精炼现有纹理。我们通过大量评估证明，我们的 TEXTuring 方法在生成、迁移和编辑纹理方面表现出色，并进一步缩小了二维图像生成与三维纹理化之间的差距。
引用
@article{arxiv.2302.01721,
title = {TEXTure: Text-Guided Texturing of 3D Shapes},
author = {Elad Richardson and Gal Metzer and Yuval Alaluf and Raja Giryes and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2302.01721},
year = {2023}
}
备注
Project page available at https://texturepaper.github.io/TEXTurePaper/