TexPainter：基于多视图一致性的网格文本生成
计算机视觉与模式识别
2024-06-28 v1 图形学
摘要
最近预训练扩散模型的成功开启了对任意野外 3D 网格自动生成纹理的可能性。然而，这些模型是在屏幕空间中训练的，将其转换为多视图一致的纹理图像仍是一个影响输出质量的主要障碍。本文提出了一种新方法来实现多视图一致性。我们的方法基于这样一个观察：在预训练扩散模型中，潜在空间是为每个摄像机视角单独添加噪声的，这使得通过直接操控潜在代码实现多视图一致性难以实现。基于著名的去噪扩散隐式模型 (DDIM) 框架，我们提出使用基于优化的颜色融合来实现一致性，并通过梯度反向传播间接修改潜在代码。我们的方法进一步放宽了摄像机视角之间的序列依赖性假设。通过在一系列常规 3D 模型上进行评估，我们发现我们的简单方法在一致性和整体质量方面优于竞争的先进方法。我们的实现已提供于：https://github.com/Quantuman134/TexPainter。
引用
@article{arxiv.2406.18539,
title = {TexPainter: Generative Mesh Texturing with Multi-view Consistency},
author = {Hongkun Zhang and Zherong Pan and Congyi Zhang and Lifeng Zhu and Xifeng Gao},
journal= {arXiv preprint arXiv:2406.18539},
year = {2024}
}
备注
accepted by Siggraph 2024