基于前向-后向 SDE 理论的 Schrödinger 桥似然训练
机器学习
2023-04-04 v5 机器学习
偏微分方程分析
最优化与控制
摘要
Schrödinger 桥（SB）是一种熵正则化的最优传输问题，因相较于基于分数的生成模型（SGM）具有数学灵活性，在深度生成建模中受到越来越多的关注。然而，SB 的优化原理是否与现代深度生成模型的训练相关仍不清楚，后者通常依赖于构造对数似然目标。这引发了 SB 模型作为生成应用之原则性替代方案的适用性问题。本工作中，我们提出一种基于前向-后向随机微分方程理论的 SB 模型似然训练新计算框架——该数学方法出现在随机最优控制中，将 SB 的最优性条件转化为一组 SDE。关键的是，这些 SDE 可用于构造 SB 的似然目标，令人惊讶的是，其将 SGM 的似然目标作为特例推广。这带来一种新的优化原理，既继承相同的 SB 最优性，又不丧失现代生成训练技术的应用，并且我们表明所得到的训练算法在 MNIST、CelebA 和 CIFAR10 上生成逼真图像取得了可比结果。我们的代码见 https://github.com/ghliu/SB-FBSDE。
引用
@article{arxiv.2110.11291,
title = {Likelihood Training of Schr\"odinger Bridge using Forward-Backward SDEs Theory},
author = {Tianrong Chen and Guan-Horng Liu and Evangelos A. Theodorou},
journal= {arXiv preprint arXiv:2110.11291},
year = {2023}
}
备注
fix appendix net arh error