UVMap-ID：一种可控且个性化的 UV Map 生成模型
计算机视觉与模式识别
2024-08-12 v2
摘要
近年来，扩散模型在根据给定文本提示合成逼真的 2D 人体图像方面取得了显著进展。在此基础上，研究人员将 2D 文本到图像扩散模型扩展至 3D 领域，用于生成人体纹理（UV Map）。然而，关于 UV Map 生成模型的一些重要问题仍未解决，即如何为任意给定的人脸图像生成个性化纹理贴图，以及如何定义和评估这些生成纹理贴图的质量。为解决上述问题，我们引入了一种新方法 UVMap-ID，这是一种可控且个性化的 UV Map 生成模型。与 2D 领域传统的大规模训练方法不同，我们提出对预训练的文本到图像扩散模型进行微调，并将其与人脸融合模块集成，以实现 ID 驱动的定制化生成。为支持该微调策略，我们引入了一个小规模的属性均衡训练数据集，其中包含带有文本标签和 Face ID 的高质量纹理。此外，我们引入了一些指标来评估纹理的多个方面。最后，定量与定性分析均证明了我们的方法在可控且个性化的 UV Map 生成中的有效性。代码已公开发布于 https://github.com/twowwj/UVMap-ID。
引用
@article{arxiv.2404.14568,
title = {UVMap-ID: A Controllable and Personalized UV Map Generative Model},
author = {Weijie Wang and Jichao Zhang and Chang Liu and Xia Li and Xingqian Xu and Humphrey Shi and Nicu Sebe and Bruno Lepri},
journal= {arXiv preprint arXiv:2404.14568},
year = {2024}
}
备注
Accepted to ACMMM2024