无跳跃连接的强化解耦换脸方法
计算机视觉与模式识别
2023-08-04 v4
摘要
SOTA 换脸模型仍存在目标身份（即形状）泄露或目标非身份属性（即背景、头发）未能在最终结果中完整保留的问题。我们指出，这种不充分的解耦是由先前模型中普遍采用的两种有缺陷的设计导致的：（1）仅依赖一个压缩编码器同时表征语义级非身份面部属性（即姿态）与像素级非面部区域细节，这二者难以同时满足；（2）高度依赖编码器与最终生成器之间的长跳跃连接，将一定量的目标人脸身份泄露至结果中。为修复这些问题，我们提出一种名为“WSC-swap”的新换脸框架，其去除跳跃连接并使用两个目标编码器分别捕获像素级非面部区域属性与面部区域中的语义非身份属性。为进一步强化目标编码器的解耦学习，我们同时采用通过对抗训练（即 GAN）的身份移除损失与基于先验 3DMM 模型（如 [11]）的非身份保持损失。在 FaceForensics++ 与 CelebA-HQ 上的大量实验表明，我们的结果在丰富的指标集上显著优于先前工作，包括一个此前完全被忽视的用于度量身份一致性的新指标。
引用
@article{arxiv.2307.07928,
title = {Reinforced Disentanglement for Face Swapping without Skip Connection},
author = {Xiaohang Ren and Xingyu Chen and Pengfei Yao and Heung-Yeung Shum and Baoyuan Wang},
journal= {arXiv preprint arXiv:2307.07928},
year = {2023}
}
备注
Accepted by ICCV 2023