Paint3D：使用无光照纹理扩散模型为任意 3D 物体绘制纹理
计算机视觉与模式识别
2023-12-25 v2
摘要
本文提出了 Paint3D，一个新颖的由粗到精的生成框架，能够以文本或图像输入为条件，为无纹理 3D 网格生成高分辨率、无光照且多样化的 2K UV 纹理贴图。其解决的关键挑战是生成不含嵌入光照信息的高质量纹理，这使得纹理能够在现代图形管线中被重新照明或重新编辑。为实现这一点，我们的方法首先利用预训练的深度感知 2D 扩散模型生成视角条件图像并进行多视角纹理融合，生成初始粗纹理贴图。然而，由于 2D 模型无法完全表示 3D 形状且无法消除光照效果，粗纹理贴图存在不完整区域和光照伪影。为解决这一问题，我们训练了独立的 UV 修复和 UVHD 扩散模型，专门用于形状感知的缺失区域细化和光照伪影去除。通过这种由粗到精的过程，Paint3D 能够生成高质量的 2K UV 纹理，在保持语义一致性的同时不含光照信息，显著推进了 3D 物体纹理化的最新技术水平。
引用
@article{arxiv.2312.13913,
title = {Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models},
author = {Xianfang Zeng and Xin Chen and Zhongqi Qi and Wen Liu and Zibo Zhao and Zhibin Wang and Bin Fu and Yong Liu and Gang Yu},
journal= {arXiv preprint arXiv:2312.13913},
year = {2023}
}
备注
Project Website: https://github.com/OpenTexture/Paint3D