AvatarTex：基于单图风格化化身的高保真面部纹理重建

我们提出AvatarTex，一个能够从单张图像生成风格化和写实纹理的高保真面部纹理重建框架。现有方法在风格化化身领域受限于缺乏多样化的多风格数据集以及在非标准纹理中维持几何一致性的挑战。为此，AvatarTex引入一种新型三阶段扩散-GAN流水线。我们的关键洞察在于，虽然扩散模型在生成多样化纹理方面表现突出，但缺乏明确的UV约束；而GAN提供良好结构的潜在空间，确保风格和拓扑一致性。通过融合这两者的优势，AvatarTex实现了具备艺术性和几何一致性的高质量拓扑对齐纹理合成。具体而言，我们的三阶段流水线首先通过扩散方法完成缺失纹理区域的填充，其次利用GAN方法的潜在优化来提升风格和结构一致性，最后通过扩散方法的重绘实现细节增强。为满足风格化纹理数据集的需求，我们引入TexHub——一个高分辨率的20,000张多风格UV纹理集合，包含精确的UV对齐布局。借助TexHub及我们结构化的扩散-GAN流水线，AvatarTex在多风格面部纹理重建方面树立了新的最先进水平。TexHub将在论文发表后发布，以促进该领域后续研究。