PSGAN++：鲁棒保细节的妆容迁移与去除
计算机视觉与模式识别
2021-05-27 v1
摘要
在本文中，我们同时解决妆容迁移与去除任务，其目标分别是将参考图像中的妆容迁移到源图像上，以及从带妆图像中去除妆容。现有方法在受限场景下已取得诸多进展，但它们仍难以在具有大幅姿态与表情差异的图像间迁移妆容，或处理如脸颊腮红或鼻部高光等妆容细节。此外，它们几乎无法在迁移过程中控制妆容程度，或迁移输入人脸中的指定部位。本工作中，我们提出 PSGAN++，其能够执行保细节的妆容迁移与有效的妆容去除。对于妆容迁移，PSGAN++ 使用妆容提炼网络提取妆容信息，并将其嵌入空间感知妆容矩阵。我们还设计了一个注意力妆容变形模块来指定源图像中的妆容如何由参考图像变形而来，以及一种妆容细节损失以在所选妆容细节区域内监督模型。另一方面，对于妆容去除，PSGAN++ 应用身份提炼网络将带妆图像的身分信息嵌入身份矩阵。最后，所获得的妆容/身份矩阵被送入风格迁移网络，该网络能够编辑特征图以实现妆容迁移或去除。为评估 PSGAN++ 的有效性，我们收集了包含多样姿态与表情图像的 Makeup Transfer In the Wild 数据集，以及包含高分辨率图像的 Makeup Transfer High-Resolution 数据集。实验表明，PSGAN++ 不仅在大姿态/表情差异情况下也能以精细妆容细节取得最先进（SOTA）结果，还可执行局部或程度可控的妆容迁移。
引用
@article{arxiv.2105.12324,
title = {PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal},
author = {Si Liu and Wentao Jiang and Chen Gao and Ran He and Jiashi Feng and Bo Li and Shuicheng Yan},
journal= {arXiv preprint arXiv:2105.12324},
year = {2021}
}
备注
Accepted by TPAMI 2021