利用空间填充向量量化对 GAN 潜空间进行无监督全景解释
计算机视觉与模式识别
2025-07-03 v2 人工智能
机器学习
摘要
生成对抗网络（GAN）学习到一个潜空间，该空间的样本可以被映射为真实世界图像。这样的潜空间难以解释。一些早期的监督方法旨在创建可解释的潜空间或发现可解释的方向，这需要利用数据标签或标注的合成样本进行训练。然而，我们提出使用一种称为空间填充向量量化（SFVQ）的改进向量量化方法，该方法在分段线性曲线上对数据进行量化。SFVQ 能够捕捉潜空间潜在的形态结构，使其具有可解释性。我们将该技术应用于建模在多个数据集上预训练的 StyleGAN2 和 BigGAN 网络的潜空间。我们的实验表明，SFVQ 曲线生成了一个通用的潜空间可解释模型，从而确定了潜空间的哪些部分对应于特定的生成因子。此外，我们证明了 SFVQ 曲线的每条线段都可能指向一个可解释的方向，用于应用可理解的图像变换。我们还证明了位于 SFVQ 线上的点可用于可控的数据增强。
引用
@article{arxiv.2410.20573,
title = {Unsupervised Panoptic Interpretation of Latent Spaces in GANs Using Space-Filling Vector Quantization},
author = {Mohammad Hassan Vali and Tom Bäckström},
journal= {arXiv preprint arXiv:2410.20573},
year = {2025}
}