在生成建模中应用基于正则化 Schrödinger 桥的随机过程
机器学习
2022-08-16 v1 机器学习
摘要
与深度生成建模中现有的基于函数的模型相比,近期提出的扩散模型以基于随机过程的方法取得了卓越性能。但该方法由于离散化所需的大量时间步而需要较长的采样时间。Schrödinger 桥(SB)基模型试图通过在分布间训练双向随机过程来解决此问题。然而,与生成对抗网络等生成模型相比,它们仍具有较慢的采样速度。并且由于双向随机过程的训练,它们需要相对较长的训练时间。因此,本研究试图减少所需的时间步数和训练时间,并对现有 SB 模型提出正则化项,以使双向随机过程在减少的时间步数下一致且稳定。各正则化项被整合为单一一项,从而在计算时间和内存使用上实现更高效的训练。将该正则化随机过程应用于各种生成任务,获得了不同分布间所需的迁移,并据此确认了基于具有更快采样速度的随机过程的生成建模的可能性。代码见 https://github.com/KiUngSong/RSB。
引用
@article{arxiv.2208.07131,
title = {Applying Regularized Schr\"odinger-Bridge-Based Stochastic Process in Generative Modeling},
author = {Ki-Ung Song},
journal= {arXiv preprint arXiv:2208.07131},
year = {2022}
}
备注
A dissertation submitted for the degree of Master of Science