UltrAvatar: 具有真实性引导纹理的真实感可动画 3D 虚拟人扩散模型

3D 虚拟人生成的最新进展引起了广泛关注。这些突破旨在生成更真实的可动画虚拟人，缩小虚拟与现实世界体验之间的差距。现有的大多数工作采用 Score Distillation Sampling (SDS) 损失，结合可微渲染器和文本条件，来引导扩散模型生成 3D 虚拟人。然而，SDS 通常生成过度平滑且缺乏面部细节的结果，因此与祖先采样相比缺乏多样性。另一方面，其他工作从单张图像生成 3D 虚拟人，其中不需要的光照效果、透视视角和较差的图像质量等挑战，使得它们难以可靠地重建带有对齐完整纹理的 3D 面部网格。在本文中，我们提出了一种名为 UltrAvatar 的新型 3D 虚拟人生成方法，其具有增强的几何保真度以及无不需要光照的优质基于物理渲染 (Physically Based Rendering, PBR) 纹理。为此，所提出的方法提出了一种漫反射颜色提取模型和一种真实性引导的纹理扩散模型。前者去除不需要的光照效果以揭示真实的漫反射颜色，使得生成的虚拟人可以在各种光照条件下进行渲染。后者遵循两种基于梯度的引导来生成 PBR 纹理，以渲染更好地与 3D 网格几何对齐的多样化面部身份特征和细节。我们证明了所提出方法的有效性和稳健性，在实验中大幅超越了 SOTA 方法。