VRMM：一种体积可重光照型变形头部模型

在本文中，我们介绍了体积可重光照型变形模型（VRMM），这是一种用于 3D 面部建模的新型体积参数化面部先验。虽然最近的体积先验模型相比 3D 变形模型（3DMMs）等传统方法有所改进，但它们在模型学习和个性化重建方面面临挑战。我们的 VRMM 通过采用一种新颖的训练框架克服了这些问题，该框架有效地解耦并将身份、表情和光照的潜在空间编码为低维表示。该框架采用自监督学习设计，显著减少了训练数据的约束，使其在实践中更加可行。学习到的 VRMM 提供了重光照能力，并涵盖了全面的各种表情。我们通过头像生成、面部重建和动画等各种应用展示了 VRMM 的多功能性和有效性。此外，我们利用基于 VRMM 的新型先验保留个性化框架，解决了生成式体积模型中常见的过拟合问题。这种方法甚至能够从单张肖像输入进行高质量的 3D 面部重建。我们的实验展示了 VRMM 显著增强 3D 面部建模领域的潜力。