SHMT：基于潜在扩散模型的自监督层级妆容迁移
计算机视觉与模式识别
2024-12-17 v1
摘要
本文研究了一项具有挑战性的任务——妆容迁移，旨在将多样的妆容风格精确且自然地应用于给定的面部图像。由于缺乏配对数据，现有方法通常合成次优的伪真值来指导模型训练，导致妆容保真度较低。此外，不同的妆容风格通常对人脸产生不同的效果，但现有方法难以处理这种多样性。为解决这些问题，我们提出了一种基于潜在扩散模型的新型自监督层级妆容迁移（SHMT）方法。遵循“解耦与重构”范式，SHMT 以自监督方式工作，免受不精确伪配对数据的误导。此外，为适应多种妆容风格，通过拉普拉斯金字塔分解层级纹理细节，并选择性地引入到内容表示中。最后，我们设计了一种新颖的迭代双重对齐（IDA）模块，动态调整扩散模型的注入条件，使得由内容与妆容表示之间的领域差距引起的对齐误差得以纠正。大量定量和定性分析证明了我们方法的有效性。我们的代码可在 \url{https://github.com/Snowfallingplum/SHMT} 获取。
引用
@article{arxiv.2412.11058,
title = {SHMT: Self-supervised Hierarchical Makeup Transfer via Latent Diffusion Models},
author = {Zhaoyang Sun and Shengwu Xiong and Yaxiong Chen and Fei Du and Weihua Chen and Fan Wang and Yi Rong},
journal= {arXiv preprint arXiv:2412.11058},
year = {2024}
}
备注
Accepted by NeurIPS 2024