基于频率分解的内容-风格解耦实现无需生成伪ground truth的无监督化妆迁移
计算机视觉与模式识别
2024-05-28 v1
摘要
缺乏真实目标来指导模型训练是化妆迁移任务的一个主要问题。大多数现有方法通过合成伪ground truth（PGT）来解决此问题。然而，生成的PGT往往次优，其不准确性最终会导致性能下降。为缓解此问题，本文提出一种新的内容-风格解耦化妆迁移方法（CSD-MT），该方法以纯无监督方式工作，从而消除生成PGT的负面影响。具体而言，基于频率特征分析，我们假设人脸图像的低频（LF）成分更与其化妆风格信息相关，而高频（HF）成分则更与其内容细节相关。这种假设使CSD-MT能够通过频率分解在每个人脸图像中解耦内容和化妆风格信息。随后，CSD-MT通过最大化转移结果与输入图像中这两种信息之间的一致性来实现化妆迁移。我们还引入两个新设计的损失函数，以进一步提高迁移性能。广泛的定量和定性分析表明，我们的CSD-MT方法有效。我们的代码已公开于https://github.com/Snowfallingplum/CSD-MT。
引用
@article{arxiv.2405.17240,
title = {Content-Style Decoupling for Unsupervised Makeup Transfer without Generating Pseudo Ground Truth},
author = {Zhaoyang Sun and Shengwu Xiong and Yaxiong Chen and Yi Rong},
journal= {arXiv preprint arXiv:2405.17240},
year = {2024}
}
备注
Accepted by CVPR2024