StyleAlign:对齐 StyleGAN 模型的分析与应用
计算机视觉与模式识别
2022-05-06 v2 图形学
机器学习
摘要
在本文中,我们对齐生成模型的属性与应用进行了深入研究。若两个模型共享相同架构,且其中一个(子模型)通过对另一个(父模型)微调至另一领域而得到(迁移学习中的常见做法),我们则称它们为对齐的。已有若干工作利用对齐 StyleGAN 模型的一些基本属性来执行图像到图像的翻译。在此,我们首次对模型对齐(同样聚焦于 StyleGAN)进行了详细探索。首先,我们对齐模型进行了实证分析,并就有关其本质的重要问题给出答案。特别地,我们发现子模型的潜空间在语义上与父模型对齐,继承了极其丰富的语义,即便对于如人脸与教堂这类相距甚远的数据领域也是如此。其次,借助这一更好的理解,我们利用对齐模型来解决多样化的任务。除图像翻译外,我们展示了全自动的跨域图像变形。我们进一步表明,零样本视觉任务可在子领域中执行,而仅依赖父领域中的监督。我们通过定性与定量实验证明,我们的方法取得了最先进的结果,同时仅需简单的微调与反演。
引用
@article{arxiv.2110.11323,
title = {StyleAlign: Analysis and Applications of Aligned StyleGAN Models},
author = {Zongze Wu and Yotam Nitzan and Eli Shechtman and Dani Lischinski},
journal= {arXiv preprint arXiv:2110.11323},
year = {2022}
}
备注
44 pages, 37 figures