用于图像反演与编辑的Style Transformer
计算机视觉与模式识别
2022-03-16 v1 人工智能
摘要
现有GAN反演方法无法同时提供可靠重建与灵活编辑的潜码。本文提出一种基于transformer的图像反演与编辑模型，用于预训练StyleGAN，其不仅失真更小，且具备高质量与高编辑灵活性。所提模型采用CNN编码器提供多尺度图像特征作为键与值，同时将待确定的生成器各层风格码作为查询。它首先将查询令牌初始化为可学习参数并映射至W+空间，随后利用多阶段交替自注意力与交叉注意力，以生成器反演输入为目的更新查询。此外，基于反演所得码，我们通过预训练潜分类器研究基于参考与标签的属性编辑，并以高质量结果实现灵活的图像到图像翻译。大量实验表明，该模型在StyleGAN上的反演与编辑任务均具更优性能。
引用
@article{arxiv.2203.07932,
title = {Style Transformer for Image Inversion and Editing},
author = {Xueqi Hu and Qiusheng Huang and Zhengyi Shi and Siyuan Li and Changxin Gao and Li Sun and Qingli Li},
journal= {arXiv preprint arXiv:2203.07932},
year = {2022}
}
备注
Accepted by CVPR 2022