BeautyREC：鲁棒、高效且保内容的妆容迁移
计算机视觉与模式识别
2022-12-13 v1
摘要
本文提出一种鲁棒、高效且部件特定的妆容迁移方法（简称 BeautyREC）。与以往利用全局注意力、简单拼接特征或在隐空间隐式操控特征的方法不同，我们提出部件特定对应机制，将参考图像的妆容风格直接迁移至源图像的对应部件（如皮肤、嘴唇、眼睛），实现精细准确的局部妆容迁移。作为辅助，引入 Transformer 的长程视觉依赖以实现有效的全局妆容迁移。我们摒弃常用且复杂不稳定的循环结构，采用内容一致性损失与内容编码器相结合来实现高效的单路径妆容迁移。本研究的核心思路为：建模部件特定对应以实现局部妆容迁移，捕获长程依赖以实现全局妆容迁移，以及通过单路径结构实现高效妆容迁移。我们还贡献了 BeautyFace，一个妆容迁移数据集以补充现有数据集。该数据集包含 3,000 张人脸，涵盖更多样的妆容风格、人脸姿态与种族，每张人脸均带有标注的解析图。大量实验证明了我们的方法相对于最先进方法的有效性。此外，我们的方法仅含 1M 参数，优于最先进方法（BeautyGAN：8.43M，PSGAN：12.62M，SCGAN：15.30M，CPM：9.24M，SSAT：10.48M），颇具优势。
引用
@article{arxiv.2212.05855,
title = {BeautyREC: Robust, Efficient, and Content-preserving Makeup Transfer},
author = {Qixin Yan and Chunle Guo and Jixin Zhao and Yuekun Dai and Chen Change Loy and Chongyi Li},
journal= {arXiv preprint arXiv:2212.05855},
year = {2022}
}
备注
Project page: https://li-chongyi.github.io/BeautyREC_files/