基于去噪自编码器与朗之万采样的生成建模
机器学习
2022-10-12 v4 机器学习
概率论
摘要
我们研究了一种生成建模方法的收敛性，该方法首先使用去噪自编码器（DAE）或去噪分数匹配（DSM）估计分布的分数函数，然后采用朗之万扩散进行采样。我们证明DAE和DSM均提供高斯平滑总体密度的分数估计，使我们能够应用经验过程的理论工具。我们克服了仅依赖分数估计误差的界这一挑战，并给出了总体分布律与该采样方案律之间Wasserstein距离的有限样本界。随后我们将结果应用于arXiv:1907.05600的同伦方法，并为其经验成功提供理论依据。
引用
@article{arxiv.2002.00107,
title = {Generative Modeling with Denoising Auto-Encoders and Langevin Sampling},
author = {Adam Block and Youssef Mroueh and Alexander Rakhlin},
journal= {arXiv preprint arXiv:2002.00107},
year = {2022}
}