通过细粒度表示实现显式面部表情迁移

在两幅不成对图像之间进行面部表情迁移是一个具有挑战性的问题，因为细粒度的表情通常与其他面部属性纠缠在一起。大多数现有方法将表情迁移视为表情操纵的一种应用，并使用预测的全局表情、关键点或动作单元（AUs）作为引导。然而，预测可能不准确，这限制了迁移细粒度表情的性能。我们提出通过直接将两幅不成对的输入图像映射为两幅交换了表情的合成图像，来显式地迁移面部表情，而不是使用中间估计的引导。具体来说，考虑到动作单元（AUs）在语义上描述了细粒度的表情细节，我们提出了一种新颖的多类对抗训练方法，将输入图像解耦为两种类型的细粒度表示：AU 相关特征和 AU 无关特征。然后，我们可以通过将 AU 无关特征与交换后的 AU 相关特征相结合，合成出保留身份并交换了表情的新图像。此外，为了获得不成对输入的可靠表情迁移结果，我们引入了一种交换一致性损失，使合成图像与自重建图像难以区分。大量实验表明，我们的方法在迁移细粒度表情方面优于最先进的表情操纵方法，同时保留了包括身份和姿态在内的其他属性。