LeGO：利用曲面变形网络实现单样本可动画风格化人脸生成
计算机视觉与模式识别
2024-03-25 v1 图形学
摘要
近年来，3D 人脸风格化在少样本乃至零样本设定下取得了显著进展。然而，现有方法所达到的风格化程度往往不足以满足实际应用需求，因为它们大多基于变化有限的统计型 3D 可变形模型 (3DMM)。为此，我们提出一种能够生成具有期望拓扑结构的高度风格化 3D 人脸模型的方法。我们的方法利用 3DMM 训练一个曲面变形网络，并通过成对样本将其域迁移至目标风格。该网络借助可微渲染器和定向 CLIP 损失，通过模仿目标风格来实现 3D 人脸网格的风格化。此外，在推理过程中，我们采用网格无关编码器 (MAGE)，该编码器将变形目标（即具有多样化拓扑结构的网格）作为风格化过程的输入，并将其形状编码到我们的潜在空间中。生成的风格化人脸模型可通过常用的 3DMM 混合变形进行动画驱动。一系列定量与定性评估表明，我们的方法能够根据给定风格生成高度风格化的人脸网格，并以期望的拓扑结构输出。我们还展示了该方法的示例应用，包括基于图像的风格化虚拟形象生成、几何风格的线性插值以及风格化虚拟形象的面部动画。
引用
@article{arxiv.2403.15227,
title = {LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example},
author = {Soyeon Yoon and Kwan Yun and Kwanggyoon Seo and Sihun Cha and Jung Eun Yoo and Junyong Noh},
journal= {arXiv preprint arXiv:2403.15227},
year = {2024}
}
备注
8 pages