通过解耦身份与表情改进面部分析与表演驱动动画

我们提出利用习得的身份不变表示来改进表演驱动面部动画、情绪识别和面部关键点或标志点预测的技术。若特定身份有足够样本和标签且变异因素高度受控，既有方法能良好工作。然而，新个体的面部表情、情绪和关键点标注样本难以且昂贵获取。本文通过显式建模先前见过的与身份和表情相关的变异，提升了技术泛化到新且未见个体的能力。我们采用弱监督方法，利用身份标签学习与身份相关的不同变异因素，并将其与表情相关因素分离。我们展示了如何对这些变异来源进行概率建模，从而习得表情的身份不变表示，进而用于身份归一化各种面部表情分析和动画控制过程。我们还展示了如何通过用身份-表情分解表示替换通常基于主成分分析构建的底层点分布模型，来扩展广泛使用的主动外观模型与约束局部模型。我们呈现了多种实验，在情绪识别、无标记表演驱动面部动画和面部关键点跟踪上一致提升了性能。