$f$-散度 GAN 的渐近统计分析

Xinwei Shen; Kani Chen; Tong Zhang

$f$-散度 GAN 的渐近统计分析

统计理论 2022-09-16 v1 机器学习机器学习统计理论

作者: Xinwei Shen , Kani Chen , Tong Zhang

摘要

生成对抗网络（GANs）在数据生成方面取得了巨大成功。然而，其统计性质尚未被充分理解。本文考虑 GAN 的一般 $f$ -散度表述的统计行为，其中包括与极大似然原理密切相关的 Kullback–Leibler 散度。我们证明，对于正确设定的参数化生成模型，在相同判别器类下，所有 $f$ -散度 GAN 在适当正则条件下渐近等价。此外，借助适当选择的局部判别器，它们渐近等价于极大似然估计。对于错误设定的生成模型，具有不同 $f$ -散度的 GAN {收敛到不同估计量}，因此无法直接比较。然而，研究表明对于某些常用 $f$ -散度，原始 $f$ -GAN 并非最优，因为当原始 $f$ -GAN 表述中的判别器训练被逻辑回归替代时，可以获得更小的渐近方差。由此得到的估计方法称为对抗梯度估计（AGE）。本文提供了实证研究以支持该理论，并展示在模型错误设定下 AGE 相对于原始 $f$ -GANs 的优势。

关键词

生成对抗网络 $f$-散度渐近分析极大似然模型错误设定对抗梯度估计

引用

@article{arxiv.2209.06853,
  title  = {Asymptotic Statistical Analysis of $f$-divergence GAN},
  author = {Xinwei Shen and Kani Chen and Tong Zhang},
  journal= {arXiv preprint arXiv:2209.06853},
  year   = {2022}
}

$f$-散度 GAN 的渐近统计分析

摘要

关键词

引用

相关论文