Stable-Makeup：当现实世界妆容迁移遇见扩散模型
计算机视觉与模式识别
2025-04-02 v2
摘要
当前的妆容迁移方法局限于简单的妆容风格，使其难以应用于现实世界场景。在本文中，我们介绍了 Stable-Makeup，一种基于扩散模型的新颖妆容迁移方法，能够将广泛的真实世界妆容稳健地迁移到用户提供的面部上。Stable-Makeup 基于预训练的扩散模型，并利用细节保持（D-P）妆容编码器对妆容细节进行编码。它还采用了内容和结构控制模块来保留源图像的内容和结构信息。借助我们在 U-Net 中新增的妆容交叉注意力层，我们可以将详细的妆容准确迁移到源图像的相应位置。经过内容-结构解耦训练后，Stable-Makeup 能够保持源图像的内容和面部结构。此外，我们的方法表现出强大的稳健性和泛化能力，使其适用于跨域妆容迁移、妆容引导的文本到图像生成等各种任务。大量实验表明，我们的方法在现有的妆容迁移方法中提供了最先进的（SOTA）结果，并在各个相关领域展现出极具前景的广泛潜在应用。代码已发布：https://github.com/Xiaojiu-z/Stable-Makeup
引用
@article{arxiv.2403.07764,
title = {Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model},
author = {Yuxuan Zhang and Yirui Yuan and Yiren Song and Jiaming Liu},
journal= {arXiv preprint arXiv:2403.07764},
year = {2025}
}