奇妙的风格通道及其何处寻：一种用于发现GAN中多样方向的子模框架
计算机视觉与模式识别
2022-04-01 v2
摘要
在预训练GAN模型的潜空间中发掘可解释方向近来已成为热门课题。特别是，StyleGAN2因其丰富且解耦的潜空间，实现了多种图像生成与操控任务。此类方向的发现通常以监督方式进行(需要为每种所需操控提供标注数据)或以无监督方式进行(需要人工努力来辨识方向)。因此，现有工作通常只能找到少数可进行可控编辑的方向。在本研究中，我们设计了一种新颖的子模框架，可在StyleGAN2的潜空间中找到最具代表性和多样性的方向子集。我们的方法利用通道级风格参数(即所谓的风格空间)的潜空间，将执行相似操控的通道聚类成组。我们的框架利用聚类的概念来促进多样性，并可通过贪心优化方案高效求解。我们通过定性与定量实验评估了框架，表明我们的方法能找到更具多样性和解耦性的方向。我们的项目页面位于 http://catlab-team.github.io/fantasticstyles。
引用
@article{arxiv.2203.08516,
title = {Fantastic Style Channels and Where to Find Them: A Submodular Framework for Discovering Diverse Directions in GANs},
author = {Enis Simsar and Umut Kocasari and Ezgi Gülperi Er and Pinar Yanardag},
journal= {arXiv preprint arXiv:2203.08516},
year = {2022}
}