基于 landmarks 引导 GAN 的人脸表情迁移

我们提出了一种简洁而强大的 landmarks 引导生成对抗网络（LandmarkGAN），用于基于单张图像的人脸表情到表情的迁移，这是计算机视觉中一个重要且具挑战性的任务，因为表情到表情的迁移是一个非线性和未对齐的问题。此外，由于图像中的对象可能具有任意姿态、大小、位置、背景和自遮挡，它需要输入与输出图像间的高层语义理解。为应对该问题，我们提出显式利用人脸 landmark 信息。由于这是一个挑战性问题，我们将其拆分为两个子任务：（i）类别引导的 landmark 生成，以及（ii）landmark 引导的表情到表情迁移。两个子任务以端到端方式训练，旨在从生成的 landmarks 和表情中获得相互提升的收益。与当前关键点引导方法相比，所提出的 LandmarkGAN 仅需单张人脸图像即可生成多种表情。在四个公开数据集上的大量实验结果表明，所提出的 LandmarkGAN 仅使用单张图像就比最先进的方法取得了更好的结果。代码见 https://github.com/Ha0Tang/LandmarkGAN。