StyleSwap：基于风格的生成器赋能鲁棒人脸交换
计算机视觉与模式识别
2022-09-28 v1 图形学
摘要
鉴于其广泛应用，针对与人物无关的人脸交换任务已有众多尝试。现有方法大多依赖繁琐的网络与损失设计，仍难以平衡源脸与目标脸之间的信息，且易产生可见伪影。本工作中，我们引入一个简洁有效的框架 StyleSwap。其核心思想是利用基于风格的生成器赋能高保真且鲁棒的人脸交换，从而可采用该生成器的优势优化身份相似度。我们确认仅需极小修改，StyleGAN2 架构即可成功处理来自源与目标的所需信息。此外，受 ToRGB 层启发，进一步设计了一个交换驱动掩码分支以改善信息混合。进而，可采用 StyleGAN 反演的优势。特别地，提出一种交换引导 ID 反演策略以优化身份相似度。大量实验验证我们的框架生成的高质量人脸交换结果在定性与定量上均优于最先进方法。
引用
@article{arxiv.2209.13514,
title = {StyleSwap: Style-Based Generator Empowers Robust Face Swapping},
author = {Zhiliang Xu and Hang Zhou and Zhibin Hong and Ziwei Liu and Jiaming Liu and Zhizhi Guo and Junyu Han and Jingtuo Liu and Errui Ding and Jingdong Wang},
journal= {arXiv preprint arXiv:2209.13514},
year = {2022}
}
备注
Accepted to ECCV 2022. Demo videos and code can be found at https://hangz-nju-cuhk.github.io/projects/StyleSwap