论生成模型的动力学最优概率路径
机器学习
2023-06-13 v1 机器学习
摘要
近期成功的生成模型通过拟合一个神经网络到先验定义的从噪声到训练样本的可处理概率密度路径来进行训练。本文中，我们研究高斯概率路径的空间（包含扩散路径作为特例），并寻找在某种有用意义下的最优成员。特别地，已知最小化路径的动能（KE）可使粒子轨迹简化，从而更易采样，并在未见数据的似然和样本生成质量上实证提升性能。我们研究动力学最优（KO）高斯路径并给出以下观察：（i）我们证明KE在高斯路径空间上取简化形式，其中数据仅通过单一的、一维标量函数（称为数据分离函数）引入。（ii）我们用一维ODE刻画KO解。（iii）我们通过逼近数据分离函数并最小化KE来近似数据依赖的KO路径。（iv）我们证明在d维中任意由n个样本组成的归一化数据集的一般情况下，当n/√d→0时数据分离函数收敛到1。该结果的一个推论是条件最优传输（Cond-OT）路径在n/√d→0时变为动力学最优。我们进一步在ImageNet上以实证实验支持该理论。
引用
@article{arxiv.2306.06626,
title = {On Kinetic Optimal Probability Paths for Generative Models},
author = {Neta Shaul and Ricky T. Q. Chen and Maximilian Nickel and Matt Le and Yaron Lipman},
journal= {arXiv preprint arXiv:2306.06626},
year = {2023}
}