基于平滑 Wasserstein 距离的生成式建模的渐近保证
统计理论
2020-10-21 v4 统计理论
摘要
最小距离估计(MDE)作为一种(隐式)生成式建模的 formulation 近年来受到关注。它考虑在模型参数上最小化经验数据分布与模型之间的统计距离。该 formulation 适于理论分析,但典型结果受维数灾难的阻碍。为克服此问题并设计可扩展的有限样本统计 MDE 理论,我们采用平滑 1-Wasserstein 距离(SWD) 的框架。最近已证明 SWD 保留了经典 Wasserstein 距离的度量与拓扑结构,同时具有无维数依赖的经验收敛速率。本工作中,我们对最小平滑 Wasserstein 估计量(MSWE)进行了深入的统计研究,首先证明了估计量的可测性与渐近一致性。随后我们刻画了最优模型参数及其对应最小 SWD 的极限分布。这些结果意味着基于 MSWE 的生成式建模具有 的泛化界,该界在任意维度成立。我们的主要技术工具是关于经验 的一个新的高维极限分布结果。非退化极限的刻画与经典经验 1-Wasserstein 距离形成鲜明对比,后者类似结果仅在一维情形已知。我们的理论有效性得到了实证结果的支持,将 SWD 定位为高维学习与推断的有力工具。
引用
@article{arxiv.2002.01012,
title = {Asymptotic Guarantees for Generative Modeling Based on the Smooth Wasserstein Distance},
author = {Ziv Goldfeld and Kristjan Greenewald and Kengo Kato},
journal= {arXiv preprint arXiv:2002.01012},
year = {2020}
}