基于弱监督解缝脱落网络的 3D 人脸建模联合身份一致性先验
计算机视觉与模式识别
2024-04-26 v1
摘要
具有解缝脱落控制因子的生成式 3D 人脸模型在计算机视觉和计算机图形学中具有巨大的应用潜力。然而，现有方法面临挑战，即需要特定标签才能有效解缝脱落这些因子。这在整合多个 3D 人脸数据集以提高模型泛化性时尤其棘手。为此，本文引入了弱监督解缝脱落框架（Weakly-Supervised Disentanglement Framework, WSDF），以无需过于严格的标注要求来训练可控的 3D 人脸模型。遵循变分自编码器（Variational Autoencoders, VAE）范式，该模型通过一个带有专门身份一致性先验的双分支编码器实现身份和表情控制因子的解缝脱落。随后，通过基于张量的组合机制忠实地重新缝合这些因子。值得注意的是，引入中性库（Neutral Bank）允许仅使用身份标签即可精确获取主体特定信息，从而避免因监督不足导致的退化。此外，该框架包含一个无标签的二阶损失函数用于调节表情因子的变形空间并消除多余信息，从而实现更好的解缝脱落。进行了大量实验以证明 WSDF 的卓越性能。我们的代码已公开于 https://github.com/liguohao96/WSDF。
引用
@article{arxiv.2404.16536,
title = {3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior},
author = {Guohao Li and Hongyu Yang and Di Huang and Yunhong Wang},
journal= {arXiv preprint arXiv:2404.16536},
year = {2024}
}