基于深度学习的虚拟人类头部 UV 纹理图语义操作方法

设计和操作虚拟人类头部在 AR、VR、游戏、人机交互和视觉特效等各种应用中至关重要。传统的图形方法需要大量手动工作和资源才能实现对人类头部的准确表现。虽然现代深度学习技术可以生成和编辑高度逼真的面部图像，但其关注力主要集中在 2D 面部图像上，这使得它们不太适用于 3D 应用。鉴于在 UV 纹理空间中进行编辑在 3D 图形管道中的关键作用，我们的工作聚焦于此，以为图形设计师提供更好的控制和精度。目前在 UV 纹理空间内的方法有限、复杂且面临挑战。本文引入 SemUV：一个针对 FFHQ-UV 数据集进行语义操纵的简单有效的方法。我们在公开的 FFHQ-UV 数据集上训练 StyleGAN 模型，随后训练一个用于插值和语义特征操纵的边界。通过与 2D 操纵技术的实验比较，我们展示其在保持身份的同时有效修改语义特征（如年龄、性别和面部胡须）方面的优势。该方法简单、与 3D 组件（如结构、光照和渲染）无关，并且能够无需大量专业知识、时间或资源地无缝集成到标准 3D 图形管道中。