基于无监督关键点定位的人脸动画运动操控

人脸动画涉及控制和生成面部特征,具有广泛的应用前景。基于无监督关键点定位的方法可以产生逼真且细节丰富的虚拟肖像。然而,它们无法实现可控的人脸生成,因为现有的关键点分解管道未能充分解耦身份语义和交织的运动信息(如旋转、平移和表情)。为解决这些问题,我们提出了一种新方法,通过无监督关键点定位的人脸动画运动操控(MMFA)。我们首先引入自监督表示学习来编码和解码表情,并将其从其他运动信息中解耦。其次,我们提出了一种新的关键点计算方式,以实现任意运动控制。此外,我们设计了一个变分自编码器,将表情特征映射到连续的高斯分布,首次实现无监督框架中的人脸表情插值。我们在公开数据集上进行了大量实验以验证MMFA的有效性,结果表明MMFA在创建逼真的动画和操控人脸运动方面相较于现有方法具有显著优势。