基于分数的生成建模隐式最小化Wasserstein距离
机器学习
2022-12-14 v1 人工智能
数值分析
数值分析
摘要
基于分数的生成模型在图像生成和音频合成等多种应用中展现出卓越的经验性能。然而，对基于分数的扩散模型的理论理解仍不完整。最近，Song等人表明，基于分数的生成模型的训练目标等价于最小化生成分布与数据分布之间的Kullback-Leibler散度。在本文中，我们证明在模型上的适当假设下，基于分数的模型也最小化它们之间的Wasserstein距离。具体而言，我们证明Wasserstein距离被目标函数的平方根上界控制，直至乘性常数和一个固定常数偏移。我们的证明基于对最优传输理论的新颖应用，这本身可能对学界有独立意义。我们的数值实验支持了我们的发现。通过分析我们的上界，我们提供了几种获得更紧上界的技术。
引用
@article{arxiv.2212.06359,
title = {Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance},
author = {Dohyun Kwon and Ying Fan and Kangwook Lee},
journal= {arXiv preprint arXiv:2212.06359},
year = {2022}
}