中文

关于相对论性$f$-散度

机器学习 2019-01-10 v1

摘要

本文对相对论生成对抗网络(RGANs)提供了更严谨的考察。我们证明对于任意具有最小性质(f(0)=0f(0)=0f(0)0f'(0) \neq 0supxf(x)>0\sup_x f(x)>0)的凹函数 ff,判别器的目标函数是一个统计散度。我们还设计了相对论性 ff-散度的几种变体。Wasserstein GAN最初被这样一种观点所证明:Wasserstein距离(WD)是最合理的,因为它是弱的(即它诱导弱拓扑)。我们表明WD弱于 ff-散度,而 ff-散度又弱于相对论性 ff-散度。鉴于RGANs的良好性能,这表明WGAN表现良好主要不是因为弱度量,而是因为正则化和使用了相对论判别器。我们还仔细考察了相对论性 ff-散度的估计量。我们为相对论配对GAN(RpGANs;原称RGANs,可能引起混淆)引入了最小方差无偏估计量(MVUE),并表明它表现并不更好。此外,我们表明相对论平均GAN(RaGANs)的估计量仅是渐近无偏的,但有限样本偏差很小。消除该偏差并未改善性能。

关键词

引用

@article{arxiv.1901.02474,
  title  = {On Relativistic $f$-Divergences},
  author = {Alexia Jolicoeur-Martineau},
  journal= {arXiv preprint arXiv:1901.02474},
  year   = {2019}
}

备注

Code is available on: https://github.com/AlexiaJM/relativistic-f-divergences