一体化：使用单一网络进行面部表情迁移、编辑与识别
计算机视觉与模式识别
2019-11-19 v1
摘要
在本文中，我们提出一种称为迁移-编辑与识别生成对抗网络（TER-GAN）的统一架构，它可用于：1. 将面部表情从一个身份迁移到另一个身份，称为面部表情迁移（FET）；2. 将给定图像的表达转换为目标表情，同时保留图像的身份，称为面部表情编辑（FEE）；3. 识别人脸图像的面部表情，称为面部表情识别（FER）。在 TER-GAN 中，我们结合了生成模型生成合成图像的能力，同时在重建过程中学习关于输入图像的重要信息。更具体地，TER-GAN 中使用两个编码器从两幅输入图像中编码身份和表情信息，并由 TER-GAN 的解码器部分生成合成表情图像。为了改进特征解耦和提取过程，我们还引入了一种新颖的表情一致性损失和身份一致性损失，利用生成图像中的额外表情和身份信息。实验结果表明，所提方法可用于高效的面部表情迁移、面部表情编辑和面部表情识别。为了评估所提技术并将我们的结果与最先进的方法进行比较，我们在实验中使用 Oulu-CASIA 数据集。
引用
@article{arxiv.1911.07050,
title = {All-In-One: Facial Expression Transfer, Editing and Recognition Using A Single Network},
author = {Kamran Ali and Charles E. Hughes},
journal= {arXiv preprint arXiv:1911.07050},
year = {2019}
}
备注
10 pages, 5 figures