自蒸馏 StyleGAN：面向从互联网照片生成图像
计算机视觉与模式识别
2022-02-25 v1
摘要
StyleGAN 以生成高保真图像而闻名，同时还提供前所未有的语义编辑能力。然而，这些引人入胜的能力仅在有限的一组数据集上得到展示，这些数据集通常结构对齐且经过精心整理。本文中，我们展示如何将 StyleGAN 适配到从互联网收集的 raw 未整理图像上。此类图像集合对 StyleGAN 提出两个主要挑战：它们包含许多离群图像，并且具有多模态分布特征。在此类 raw 图像集合上训练 StyleGAN 会导致图像合成质量下降。为应对这些挑战，我们提出了一种基于 StyleGAN 的自蒸馏方法，由两个主要组件构成：（i）基于生成器的数据集自过滤以消除离群图像，从而生成恰当的训练集；（ii）对生成图像进行感知聚类以检测固有数据模态，随后将其用于改进 StyleGAN 在图像合成过程中的“截断技巧”。所提技术能够生成高质量图像，同时将数据多样性的损失降至最低。通过定性与定量评估，我们展示了我们的方法对从互联网收集的新颖具挑战性与多样性领域的威力。新数据集与预训练模型可在 https://self-distilled-stylegan.github.io/ 获取。
引用
@article{arxiv.2202.12211,
title = {Self-Distilled StyleGAN: Towards Generation from Internet Photos},
author = {Ron Mokady and Michal Yarom and Omer Tov and Oran Lang and Daniel Cohen-Or and Tali Dekel and Michal Irani and Inbar Mosseri},
journal= {arXiv preprint arXiv:2202.12211},
year = {2022}
}