SOGAN：用于化妆迁移的 3D 感知阴影与遮挡鲁棒 GAN
计算机视觉与模式识别
2021-07-21 v2 人工智能
摘要
近年来，虚拟化妆应用变得越来越流行。然而，在真实环境中提出一种鲁棒的化妆迁移方法仍具挑战性。现有的化妆迁移方法大多在条件良好的干净化妆图像上表现良好，但在存在阴影和遮挡的化妆迁移上效果不尽如人意。为缓解此问题，我们提出了一种新颖的化妆迁移方法，称为 3D 感知阴影与遮挡鲁棒 GAN（SOGAN）。给定源人脸和参考人脸，我们首先拟合 3D 人脸模型，然后将人脸解耦为形状与纹理。在纹理分支中，我们将纹理映射到 UV 空间，并设计 UV 纹理生成器来迁移化妆。由于人脸在 UV 空间中是对称的，我们可以通过精心设计的翻转注意力模块（FAM）方便地从参考图像中去除不必要的阴影和遮挡。在从参考图像获得更干净的化妆特征后，引入化妆迁移模块（MTM）以执行准确的化妆迁移。定性与定量实验表明，我们的 SOGAN 不仅在阴影和遮挡情形下取得了优越结果，而且在大幅姿态和表情变化下也表现良好。
引用
@article{arxiv.2104.10567,
title = {SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer},
author = {Yueming Lyu and Jing Dong and Bo Peng and Wei Wang and Tieniu Tan},
journal= {arXiv preprint arXiv:2104.10567},
year = {2021}
}
备注
Accepted by ACM MM 2021