用于精确鲁棒妆容迁移的人脸属性Transformer
计算机视觉与模式识别
2021-04-08 v1 人工智能
摘要
本文研究妆容迁移问题，旨在将参考人脸的妆容移植到源人脸，同时保留源人脸的身份。现有妆容迁移方法在生成逼真妆容人脸方面取得了显著进展，但在颜色保真度和空间变换方面表现不佳。为解决这些问题，我们提出了一种新颖的人脸属性Transformer（FAT）及其变体空间FAT，用于高质量妆容迁移。受自然语言处理中 Transformer 的启发，FAT 能够建模源人脸与参考人脸之间的语义对应与交互，进而精确估计并迁移人脸属性。为了进一步促进面部部件的形状形变与变换，我们还将薄板样条（TPS）集成到 FAT 中，从而创建了空间FAT，这是首个除颜色和纹理外还能迁移几何属性的方法。大量定性与定量实验证明了我们所提出的 FAT 在以下方面的有效性与优越性：（1）确保高保真颜色迁移；（2）允许面部部件的几何变换；（3）处理人脸变化（如姿态与阴影）；（4）支持高分辨率人脸生成。
引用
@article{arxiv.2104.02894,
title = {Facial Attribute Transformers for Precise and Robust Makeup Transfer},
author = {Zhaoyi Wan and Haoran Chen and Jielei Zhang and Wentao Jiang and Cong Yao and Jiebo Luo},
journal= {arXiv preprint arXiv:2104.02894},
year = {2021}
}