面向高保真、身份保持的实时化妆迁移：解耦式风格生成

我们提出了一种新型框架，用于实现高保真、身份保持的实时虚拟化妆试用，同时保持稳定的时序一致性。在实时化妆迁移应用中，准确复制细粒度化妆并保持用户身份是关键。然而，现有方法常常难以从肤色和其他身份特征中解耦半透明化妆，导致身份偏移并引发公平性问题。此外，现有方法缺乏实时性能，无法维持时序一致性，限制了实际应用。为此，我们将化妆迁移解耦为两个步骤：透明化妆掩码提取和基于图形的掩码渲染。在化妆提取步骤之后，化妆渲染可实现实时处理，从而实现实时化妆试用。我们的化妆提取模型基于通过两种互补方法生成的伪ground-truth数据进行训练：基于图形的渲染管线和基于K-means聚类的无监督方法。为进一步提升透明度估计和颜色保真度，我们提出了特定的训练目标，包括alpha加权重建和唇部颜色损失。该方法在保持时序平滑的同时，实现了跨多样化姿态、表情和肤色的稳健化妆迁移。大量实验表明，我们的方法在捕捉细节、维持时序稳定性和保持身份完整性方面均优于现有基线方法。