基于Besov IPM损失的非参数密度估计与生成对抗网络的收敛速度
统计理论
2020-01-14 v4 信息论
机器学习
math.IT
机器学习
统计理论
摘要
我们研究在称为Besov IPM的一大类损失函数下估计非参数概率密度的问题，这些损失函数包括例如距离、全变差距离，以及Wasserstein和Kolmogorov-Smirnov距离的推广。对于各种设置，我们提供了下界和上界，精确地确定了损失函数的选择和对数据的假设如何相互作用以决定极小极大最优收敛速度。我们还表明，线性分布估计，例如经验分布或核密度估计，通常无法以最优速度收敛。我们的界限推广、统一或改进了几个近期和经典的结果。此外，IPM可用于形式化生成对抗网络（GAN）的统计模型。因此，我们展示了我们的结果如何隐含GAN的统计误差界限，例如，表明GAN可以严格优于最佳线性估计器。
引用
@article{arxiv.1902.03511,
title = {Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses},
author = {Ananya Uppal and Shashank Singh and Barnabás Póczos},
journal= {arXiv preprint arXiv:1902.03511},
year = {2020}
}
备注
Advances in Neural Information Processing Systems. 2019