固定核与特征学习概率度量之间的分离结果
机器学习
2021-11-02 v4 机器学习
概率论
统计理论
统计理论
摘要
隐式和显式生成建模中的若干工作经验观察到，特征学习判别器在模型样本质量方面优于固定核判别器。我们使用分别开发的 function classes 和 给出了具有固定核和特征学习判别器的概率度量之间的分离结果，这些函数类用于研究过参数化两层神经网络。特别地，我们构造了超球面上的一对分布，它们在高维下不能被固定核 积分概率度量（IPM）和 Stein 差异（SD）区分，但可以被它们对应的特征学习（）版本区分。为进一步研究该分离，我们提供了 和 IPM 与切片 Wasserstein 距离之间的联系。我们的工作表明，固定核判别器表现劣于其特征学习对应物的原因在于其相应度量更弱。
引用
@article{arxiv.2106.05739,
title = {Separation Results between Fixed-Kernel and Feature-Learning Probability Metrics},
author = {Carles Domingo-Enrich and Youssef Mroueh},
journal= {arXiv preprint arXiv:2106.05739},
year = {2021}
}