TexDreamer：面向零样本高保真 3D 人体纹理生成
计算机视觉与模式识别
2024-03-20 v1
摘要
由于难以获取合理展开的 UV 图，基于语义 UV 图的 3D 人体纹理化仍是一个挑战。尽管近期在利用大型文本到图像模型对多视角渲染进行监督方面取得了文本到 3D 的进展，但仍存在生成速度、文本一致性和纹理质量问题，导致现有数据集中数据稀缺。我们提出 TexDreamer，首个零样本多模态高保真 3D 人体纹理生成模型。通过高效的纹理适应微调策略，将大型文本到图像模型适配到语义 UV 结构，同时保留其原始的泛化能力。基于新颖的特征翻译模块，训练后的模型能够在数秒内从文本或图像生成高保真的 3D 人体纹理。此外，我们引入 ArTicuLated humAn textureS (ATLAS)，最大的高分辨率 (1024×1024) 3D 人体纹理数据集，包含 5 万张高保真纹理及文本描述。
引用
@article{arxiv.2403.12906,
title = {TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation},
author = {Yufei Liu and Junwei Zhu and Junshu Tang and Shijie Zhang and Jiangning Zhang and Weijian Cao and Chengjie Wang and Yunsheng Wu and Dongjin Huang},
journal= {arXiv preprint arXiv:2403.12906},
year = {2024}
}
备注
Project Page: https://ggxxii.github.io/texdreamer/