StyleGANEX：基于 StyleGAN 的超出裁剪对齐人脸的操作
计算机视觉与模式识别
2023-07-24 v2 机器学习
摘要
近期使用 StyleGAN 的人脸操作取得了令人印象深刻的成果。然而，StyleGAN 固有地局限于其预训练所固定的图像分辨率下的裁剪对齐人脸。本文中，我们提出一种简单有效的解决方案来克服该限制：使用膨胀卷积重新缩放 StyleGAN 中浅层的感受野，而不改动任何模型参数。这使得浅层固定大小的小特征可被扩展为能容纳可变分辨率的更大特征，从而更鲁棒地刻画未对齐人脸。为实现真实人脸反演与操作，我们引入了相应的编码器，除潜变量风格码外还提供扩展 StyleGAN 的第一层特征。我们在多种分辨率的非对齐人脸输入上，于包括面部属性编辑、超分辨率、草图/掩码到人脸翻译以及人脸卡通化等多样人脸操作任务中验证了方法的有效性。
引用
@article{arxiv.2303.06146,
title = {StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces},
author = {Shuai Yang and Liming Jiang and Ziwei Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2303.06146},
year = {2023}
}
备注
ICCV 2023. Code: https://github.com/williamyang1991/StyleGANEX Project page: https://www.mmlab-ntu.com/project/styleganex/