解耦注意力表达与身份特征的高效集成用于面部表情迁移与合成
计算机视觉与模式识别
2020-05-04 v1
摘要
本文中，我们提出一种基于注意力的身份保持生成对抗网络（AIP-GAN），以克服源图像到生成人脸图像中的身份泄漏问题，该问题出现于跨主体面部表情迁移与合成过程中。我们的核心见解是，身份保持网络应能够解耦并组合形状、外观与表情信息，以实现高效的面部表情迁移与合成。具体而言，我们的 AIP-GAN 的表情编码器通过利用我们的有监督空间与通道注意力模块预测输入源图像的面部标志点，从而解耦其表情信息。类似地，解耦的无关表情身份特征由输入目标图像通过推断其组合内蕴形状与外观图像并利用我们的自监督空间与通道注意力模块提取。为利用我们两个编码器中间层编码的表情与身份信息，我们使用跨编码器双线性池化操作将这些特征与解码器中间层学习的特征相组合。实验结果显示了我们基于 AIP-GAN 的技术的 promising 性能。
引用
@article{arxiv.2005.00499,
title = {An Efficient Integration of Disentangled Attended Expression and Identity FeaturesFor Facial Expression Transfer andSynthesis},
author = {Kamran Ali and Charles E. Hughes},
journal= {arXiv preprint arXiv:2005.00499},
year = {2020}
}
备注
10 Pages, excluding references