基于无监督学习从 GAN 中提取语义知识
计算机视觉与模式识别
2022-12-01 v1 人工智能
机器学习
摘要
近年来，无监督学习在各种任务上取得了显著进展。尽管判别模型占据主导地位，但生成模型尤其是生成对抗网络（GAN）所学到的表示正受到越来越多的关注。以往关于 GAN 解释的工作表明，GAN 将语义以线性可分的形式编码在特征图中。在本工作中，我们进一步发现，在线性可分性假设下，GAN 的特征可以得到很好的聚类。我们提出了一种名为 KLiSH 的新型聚类算法，该算法利用线性可分性对 GAN 的特征进行聚类。KLiSH 成功地从在汽车、肖像、动物等各种对象的数据集上训练的 GAN 中提取了细粒度语义。借助 KLiSH，我们可以从 GAN 中采样图像及其分割掩码，并合成成对的图像-分割数据集。利用合成的数据集，我们实现了两个下游应用。首先，我们在这些数据集上训练语义分割网络，并在真实图像上进行测试，实现了无监督语义分割。其次，我们在合成的数据集上训练图像到图像转换网络，实现了无需人工标注的语义条件图像合成。
引用
@article{arxiv.2211.16710,
title = {Extracting Semantic Knowledge from GANs with Unsupervised Learning},
author = {Jianjin Xu and Zhaoxiang Zhang and Xiaolin Hu},
journal= {arXiv preprint arXiv:2211.16710},
year = {2022}
}