基于潜在语义解耦的高分辨率换脸
计算机视觉与模式识别
2022-03-31 v1 人工智能
摘要
我们提出了一种利用预训练 GAN 模型固有先验知识的新型高分辨率换脸方法。尽管先前的研究可以利用生成先验产生高分辨率结果，但其质量可能受到潜在空间语义纠缠的影响。我们通过利用生成器的渐进特性显式解耦潜在语义，从浅层提取结构属性，从较深层提取外观属性。通过在结构属性中引入 landmark 驱动的结构迁移潜在方向，进一步分离身份与姿态信息。解耦后的潜在编码产生丰富的生成特征，结合特征混合以生成合理的换脸结果。我们通过在潜在空间与图像空间上施加两个时空约束，进一步将方法扩展至视频换脸。大量实验表明，所提方法在幻觉质量与一致性方面优于最先进的图像/视频换脸方法。代码见：https://github.com/cnnlstm/FSLSD_HiRes。
引用
@article{arxiv.2203.15958,
title = {High-resolution Face Swapping via Latent Semantics Disentanglement},
author = {Yangyang Xu and Bailin Deng and Junle Wang and Yanqing Jing and Jia Pan and Shengfeng He},
journal= {arXiv preprint arXiv:2203.15958},
year = {2022}
}
备注
Paper is Acctpted by CVPR2022