球面人脸模型：一种具有超球面流形隐空间的3D可变形模型
计算机视觉与模式识别
2021-12-07 v1
摘要
3D 可变形模型（3DMMs）是面向人脸形状与外观的生成模型。然而，传统 3DMMs 的形状参数满足多元高斯分布，而身份嵌入满足超球面分布，这种冲突使得人脸重建模型难以同时保持保真度与形状一致性。为解决此问题，我们提出了球面人脸模型（SFM），一种用于单目人脸重建的新型 3DMM，其能够同时保持形状保真度与身份一致性。我们 SFM 的核心是可被用于重建 3D 人脸形状的基础矩阵，该基础矩阵通过两阶段训练方法学习得到，其中第一阶段和第二阶段分别使用 3D 和 2D 训练数据。为解决分布失配问题，我们设计了一种新颖的损失函数使形状参数具有超球面隐空间。大量实验表明，SFM 具有高表征能力和形状参数空间的聚类性能。此外，其生成保真的人脸形状，并且在单目人脸重建的挑战性条件下形状保持一致。
引用
@article{arxiv.2112.02238,
title = {Sphere Face Model:A 3D Morphable Model with Hypersphere Manifold Latent Space},
author = {Diqiong Jiang and Yiwei Jin and Fanglue Zhang and Zhe Zhu and Yun Zhang and Ruofeng Tong and Min Tang},
journal= {arXiv preprint arXiv:2112.02238},
year = {2021}
}