随机矩阵理论证明 GAN 数据的深度学习表征表现为高斯混合
机器学习
2020-01-24 v1 机器学习
摘要
本文表明，生成对抗网络（GANs）生成数据的深度学习（DL）表征属于所谓集中随机向量一类。进一步利用如下事实：对于形如 G = X^T X 的 Gram 矩阵，其中 X=[x_1,…,x_n]∈R^{p×n} 且 x_i 为来自混合模型的独立集中随机向量，当 n,p→∞ 时其渐近行为如同 x_i 从高斯混合中抽取，这表明对于广泛的标准分类器，GAN 数据的 DL 表征可完全由其前两个统计矩描述。我们的理论发现通过使用 BigGAN 模型生成图像并在不同流行深度表征网络上进行验证。
引用
@article{arxiv.2001.08370,
title = {Random Matrix Theory Proves that Deep Learning Representations of GAN-data Behave as Gaussian Mixtures},
author = {Mohamed El Amine Seddik and Cosme Louart and Mohamed Tamaazousti and Romain Couillet},
journal= {arXiv preprint arXiv:2001.08370},
year = {2020}
}