中文

StyleAlign:对齐 StyleGAN 模型的分析与应用

计算机视觉与模式识别 2022-05-06 v2 图形学 机器学习

摘要

在本文中,我们对齐生成模型的属性与应用进行了深入研究。若两个模型共享相同架构,且其中一个(子模型)通过对另一个(父模型)微调至另一领域而得到(迁移学习中的常见做法),我们则称它们为对齐的。已有若干工作利用对齐 StyleGAN 模型的一些基本属性来执行图像到图像的翻译。在此,我们首次对模型对齐(同样聚焦于 StyleGAN)进行了详细探索。首先,我们对齐模型进行了实证分析,并就有关其本质的重要问题给出答案。特别地,我们发现子模型的潜空间在语义上与父模型对齐,继承了极其丰富的语义,即便对于如人脸与教堂这类相距甚远的数据领域也是如此。其次,借助这一更好的理解,我们利用对齐模型来解决多样化的任务。除图像翻译外,我们展示了全自动的跨域图像变形。我们进一步表明,零样本视觉任务可在子领域中执行,而仅依赖父领域中的监督。我们通过定性与定量实验证明,我们的方法取得了最先进的结果,同时仅需简单的微调与反演。

关键词

引用

@article{arxiv.2110.11323,
  title  = {StyleAlign: Analysis and Applications of Aligned StyleGAN Models},
  author = {Zongze Wu and Yotam Nitzan and Eli Shechtman and Dani Lischinski},
  journal= {arXiv preprint arXiv:2110.11323},
  year   = {2022}
}

备注

44 pages, 37 figures