基于 RKHS 函数空间的判别器用于 Kullback-Leibler 散度估计的分析
机器学习
2021-09-07 v4 机器学习
摘要
已有若干可扩展的基于样本的方法被提出并应用于大规模机器学习模型中，用于计算两个分布之间的 Kullback-Leibler（KL）散度。尽管人们发现它们不稳定，但该问题的理论根源尚不清楚。在本文中，我们研究了一种基于生成对抗网络的方法，该方法使用神经网络判别器来估计 KL 散度。我们认为，在此情况下，估计值的高波动是由于未控制判别器函数空间的复杂度所致。我们为这一问题提供了理论依据和补救方法：首先在再生核希尔伯特空间（RKHS）中构造判别器。这使我们能够利用样本复杂度和均值嵌入，在理论上将 KL 估计的误差概率界与 RKHS 中判别器的复杂度联系起来。基于该理论，我们随后提出了一种可扩展的方法来控制判别器的复杂度，以实现可靠的 KL 散度估计。我们通过受控实验支持了我们提出的理论以及控制 RKHS 判别器复杂度的方法。
引用
@article{arxiv.2002.11187,
title = {Analysis of Discriminator in RKHS Function Space for Kullback-Leibler Divergence Estimation},
author = {Sandesh Ghimire and Prashnna K Gyawali and Linwei Wang},
journal= {arXiv preprint arXiv:2002.11187},
year = {2021}
}
备注
15 pages, 3 figures