从合成到真实：基于合成与真实数据的身份一致化妆转换
计算机视觉与模式识别
2026-05-11 v1
摘要
化妆转换旨在将参考肖像的化妆风格应用到源肖像上，同时保持身份和背景。早期方法将此任务形式化为无监督图像到图像翻译，依赖代理目标，往往导致性能有限。最近的扩散和流方法则利用合成数据进行监督训练，取得显著改进。然而，这些方法仍面临两个关键挑战：合成监督常常难以忠实地保持身份一致性，合成与真实数据之间的领域差距限制了泛化，导致在复杂真实场景中的性能下降。为此，本文首先提出ConsistentBeauty，一个确保化妆忠实性和合成数据中严格身份一致性的数据 curated 流程。其次，我们提出RealBeauty，一个 synthetic-to-real post-training 框架。除了在 curated 合成数据上的监督学习外，我们进一步通过强化学习适应真实世界场景，并设计出针对化妆转换任务的新型可验证奖励。这允许模型在合成监督之外进一步受益于真实化妆模式。此外，我们建立了一个覆盖广泛肤色、年龄、性别、姿势和化妆风格的新型多样化基准， thereby 能够在多样化真实条件下更全面地评估模型性能。大量实验表明，我们的方法在多个基准上实现了最先进的性能，并在身份保持和复杂真实案例中的性能方面显示出明显优势。
引用
@article{arxiv.2605.07861,
title = {From Synthetic to Real: Toward Identity-Consistent Makeup Transfer with Synthetic and Real Data},
author = {Yue Yu and Jiayu Wang and Jiajia Shi and Jingjing Chen and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2605.07861},
year = {2026}
}