PSGAN：面向姿态与表情鲁棒且具空间感知的可定制妆容迁移 GAN
计算机视觉与模式识别
2019-11-27 v2
摘要
本文研究妆容迁移任务，旨在将参考图像中的妆容迁移至源图像。现有方法在受限场景中已取得可喜进展，但在姿态与表情差异较大的图像间迁移仍具挑战。此外，它们无法实现允许可控妆容浓淡或指定迁移部位的可定制迁移，限制了应用。为解决这些问题，我们提出姿态与表情鲁棒的空间感知 GAN（PSGAN）。它首先利用妆容提炼网络将参考图像的妆容解耦为两个空间感知妆容矩阵。随后引入注意力妆容变形模块，指定源图像中某像素的妆容如何从参考图像变形而来。结合妆容矩阵与源图像，使用妆容施加网络执行妆容迁移。我们的 PSGAN 不仅在大姿态与表情差异下仍取得最先进结果，且能进行局部与浓淡可控的妆容迁移。我们还收集了一个含多种姿态与表情人脸图像的数据集用于评估。
引用
@article{arxiv.1909.06956,
title = {PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer},
author = {Wentao Jiang and Si Liu and Chen Gao and Jie Cao and Ran He and Jiashi Feng and Shuicheng Yan},
journal= {arXiv preprint arXiv:1909.06956},
year = {2019}
}