用于GAN反演与编辑的空间自适应多层选择
计算机视觉与模式识别
2022-06-17 v1 图形学
机器学习
摘要
现有的GAN反演与编辑方法在具有干净背景的对齐物体（如人像和动物面部）上表现良好，但在具有复杂场景布局和物体遮挡的更难类别（如汽车、动物和户外图像）上常常力不从心。我们提出了一种在GAN（如StyleGAN2）潜空间中反演和编辑此类复杂图像的新方法。我们的核心思想是借助一组层进行反演，并根据图像难度对反演过程进行空间自适应。我们学习预测不同图像片段的“可反演性”，并将每个片段投影到某一潜层。较容易的区域可反演到生成器潜空间的较早层，而更具挑战性的区域可反演到较晚的特征空间。实验表明，与近期方法相比，我们的方法在复杂类别上获得了更好的反演结果，同时保持了下游可编辑性。请参考我们的项目页面 https://www.cs.cmu.edu/~SAMInversion。
引用
@article{arxiv.2206.08357,
title = {Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing},
author = {Gaurav Parmar and Yijun Li and Jingwan Lu and Richard Zhang and Jun-Yan Zhu and Krishna Kumar Singh},
journal= {arXiv preprint arXiv:2206.08357},
year = {2022}
}
备注
CVPR 2022. Github: https://github.com/adobe-research/sam_inversion Website: https://www.cs.cmu.edu/~SAMInversion