ReStyle：基于残差且通过迭代精炼的 StyleGAN 编码器
计算机视觉与模式识别
2021-08-25 v2
摘要
近来，通过生成对抗网络（GANs）的使用，无条件图像合成的能力已显著进步。将图像反演为其对应训练 GAN 的潜码至关重要，因为它允许利用网络学到的丰富语义对真实图像进行操作。认识到当前反演方法的局限性，本工作中我们提出了一种新颖的反演方案，通过引入迭代精炼机制扩展了当前基于编码器的反演方法。编码器不再使用单次前向直接预测给定真实图像的潜码，而是以自校正方式预测相对于当前反演潜码估计的残差。我们基于残差的编码器名为 ReStyle，与当前最先进的基于编码器的方法相比，在推理时间略微增加的情况下获得了更高的精度。我们分析了 ReStyle 的行为以获得对其迭代本质的宝贵见解。随后我们评估了残差编码器的性能，并分析了其与基于优化的反演及最先进编码器相比的鲁棒性。
引用
@article{arxiv.2104.02699,
title = {ReStyle: A Residual-Based StyleGAN Encoder via Iterative Refinement},
author = {Yuval Alaluf and Or Patashnik and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2104.02699},
year = {2021}
}
备注
Accepted to ICCV 2021; Project page available at https://yuval-alaluf.github.io/restyle-encoder/