中文

风格干预:如何利用基于风格的生成器实现空间解耦?

计算机视觉与模式识别 2020-11-20 v1

摘要

具有基于风格的生成器(如 StyleGAN)的生成对抗网络(GANs)成功实现了对图像合成语义层面的控制,近期研究也揭示通过修改潜码可获得可解释的图像变换。然而,在底层图像内容方面,在潜空间中游走会导致对应图像发生“空间纠缠变化”,这在许多需要局部编辑的实际应用中是不利的。为解决该问题,我们分析了“风格空间”的性质,并探索了利用预训练基于风格的生成器控制局部变换的可能性。具体而言,我们提出“风格干预”(Style Intervention),一种轻量的基于优化的算法,可适应任意输入图像并在灵活目标下渲染自然的变换效果。我们在高分辨率图像的人脸属性编辑中验证了所提框架的性能,该任务要求真实感与一致性兼备。大量定性结果证明了方法的有效性,定量指标也表明所提算法在多方面优于最先进的基准。

关键词

引用

@article{arxiv.2011.09699,
  title  = {Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators?},
  author = {Yunfan Liu and Qi Li and Zhenan Sun and Tieniu Tan},
  journal= {arXiv preprint arXiv:2011.09699},
  year   = {2020}
}