基于合成先验的少样本可驾驶头像反演

我们提出了 SynShot，一种基于合成先验的少样本可驾驶头像反演方法。我们解决了三个主要挑战。首先，训练可控的3D生成网络需要大量多样化的序列，而这些序列的图像和高质量跟踪网格并非总是可用。其次，现实数据受到严格限制（例如，在一般数据保护法下，需定期删除模型和数据以 accommodate 当参与者撤回同意的情况）。免除此类限制的合成数据显然是一个有吸引力的替代方案。其次，现有的先进单目头像模型在泛化到新视角和新表情方面存在挑战，缺乏强大的先验条件，常常对特定视点分布过拟合。受机器学习模型仅在合成数据上训练的启发，我们提出的方法从大规模合成头像数据集中学习先验模型，该数据集包含多样化的身份、表情和视角。通过少量输入图像，SynShot 对预训练的合成先验进行微调，以弥合领域差距，构建出对新表情和新视角具有泛化性的照片逼真头像。我们使用3D高斯溅写和卷积编码器-解码器，对头像进行建模，编码器-解码器输出UV纹理空间中的高斯参数。为了考虑头像不同部位（例如皮肤与头发）建模复杂度的差异，我们在先验模型中嵌入了对每个部位原始化数的显式控制。与现有的单目和GAN-based方法相比，SynShot 在新视角和表情合成方面显著提升了性能。