基于 APPLE 的属性保持伪标签人脸换脸

人脸换脸旨在将 source face 的 identity 转移到 target face 上，同时保持 target-specific attributes，如 pose、expression、lighting、skin tone 和 makeup。然而，由于无法获得 face swapping 的 real ground truth，实现 accurate identity transfer 和 high-quality attribute preservation 仍然具有挑战性。最近的基于 diffusion 的方法通过对 masked target images 进行 conditional inpainting 来提高视觉保真度，但 masked condition 会移除 crucial appearance cues，导致生成 plausible 但 misaligned attributes。为解决这一限制，我们提出 APPLE (Attribute-Preserving Pseudo-Labeling)，一种 fully diffusion-based 的 teacher-student 框架，用于 attribute-preserving face swapping。我们的做法引入 teacher design，通过 (1) 条件 deblurring 公式提高 global attributes 如 skin tone 和 illumination 的保持，以及 (2) attribute-aware inversion scheme 进一步增强 fine-grained attribute preservation 如 makeup。APPLE 将 student 条件于 clean pseudo-labels 而非受损 masked inputs，从而实现更可信的 attribute preservation。结果表明，APPLE 在 attribute preservation 上实现 state-of-the-art performance，同时保持 competitive identity transferability。