使用切片-Wasserstein 距离学习生成模型的渐近保证
机器学习
2020-03-25 v2 机器学习
摘要
最小期望距离估计 (MEDE) 算法已广泛用于具有难解似然函数的概率模型，并因其在隐式生成建模（例如 Wasserstein 生成对抗网络、Wasserstein 自编码器）中的应用而日益流行。切片-Wasserstein (SW) 距离源于计算最优传输，因其简洁性和计算优势已成为 MEDE 中的流行选择。尽管多项研究报告了使用 SW 进行生成建模的经验性成功，但此类估计量的理论性质尚未建立。在本研究中，我们考察了通过最小化 SW 获得的估计量的渐近性质。我们首先证明，SW 中的收敛意味着一般 Wasserstein 空间中概率测度的弱收敛。然后我们证明，通过最小化 SW（以及 SW 的一个近似版本）获得的估计量是渐近一致的。最后，我们证明了一个中心极限定理，该定理刻画了估计量的渐近分布，并建立了 的收敛速率，其中 表示观测数据点的数量。我们在合成数据和神经网络上验证了我们理论的有效性。
引用
@article{arxiv.1906.04516,
title = {Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance},
author = {Kimia Nadjahi and Alain Durmus and Umut Şimşekli and Roland Badeau},
journal= {arXiv preprint arXiv:1906.04516},
year = {2020}
}
备注
Accepted at NeurIPS 2019 (publication and spotlight presentation)