极小极大最优性（很可能）并不意味着 GAN 的分布学习
机器学习
2022-01-19 v1 计算复杂性
密码学与安全
机器学习
摘要
可以说，生成对抗网络（GANs）理论中最基本的问题是理解 GAN 能在多大程度上真正学习底层分布。理论与经验证据表明，经验训练目标的局部最优是不充分的。然而，这并未排除达到真正的群体极小极大最优解可能意味着分布学习的可能性。在本文中，我们表明标准密码学假设意味着这一更强条件仍然不充分。即，我们表明如果存在局部伪随机数生成器（PRGs），那么对于一大类自然连续目标分布，存在常量深度、多项式大小的 ReLU 网络生成器，其接受高斯随机种子，使得（i）输出在 Wasserstein 距离上远离目标分布，但（ii）没有任何多项式大小的 Lipschitz 判别器 ReLU 网络能检测到这一点。这意味着即使达到 Wasserstein GAN 目标的群体极小极大最优解，也可能不足以用于通常统计意义下的分布学习。我们的技术揭示了 GAN 与 PRG 之间的深刻联系，我们相信这将带来对 GAN 计算图景的进一步洞察。
引用
@article{arxiv.2201.07206,
title = {Minimax Optimality (Probably) Doesn't Imply Distribution Learning for GANs},
author = {Sitan Chen and Jerry Li and Yuanzhi Li and Raghu Meka},
journal= {arXiv preprint arXiv:2201.07206},
year = {2022}
}
备注
32 pages, 1 figure