SelfSwapper：基于无形状依赖遮罩自编码器的自监督人脸换脸
计算机视觉与模式识别
2024-07-23 v2 人工智能
摘要
人脸换脸因其多样化的应用而受到广泛关注。大多数先前的人脸换脸方法依赖‘平衡博弈’训练方案，即目标导向方法。然而，这常常导致模型训练不稳定，并产生身份混合的意外样本 due to 目标身份泄漏问题。源导向方法通过自重建目标实现更稳定的训练，但常常无法准确反映目标图像的皮肤颜色和光照。本文引入了形状无关遮罩自编码器（SAMAE）训练方案，这是一种新型自监督方法，结合了目标导向和源导向方法的优势。我们的训练方案通过规避常规的平衡博弈，引入通过自重建训练 regime 获得的清晰ground truth，从而克服了传统训练方法的局限性。我们的模型有效缓解了身份泄漏问题，并通过学习到的解耦身份与非身份特征来反映目标albedo和光照。此外，我们提出了 perforation confusion 和随机网格缩放等新技术，紧密解决了形状错位和体积不匹配问题。SAMAE 建立了新的研究最佳成绩，超越了其他基线方法，在不牺牲任一方面的情况下，既保留了身份特征，又保留了非身份特征。
引用
@article{arxiv.2402.07370,
title = {SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder},
author = {Jaeseong Lee and Junha Hyung and Sohyun Jeong and Jaegul Choo},
journal= {arXiv preprint arXiv:2402.07370},
year = {2024}
}