通过近似最优传输改进基于扩散的生成模型
计算机视觉与模式识别
2024-03-11 v1 机器学习
摘要
我们引入了近似最优传输（AOT）技术，这是一种用于基于扩散的生成模型的新型训练方案。我们的方法旨在近似并将最优传输整合到训练过程中，显著增强扩散模型准确估计去噪器输出的能力。这一改进使得扩散模型的常微分方程（ODE）轨迹具有更低的曲率，并在采样过程中减少了截断误差。通过在训练中采用 AOT，我们实现了更优的图像质量和更少的采样步数。具体而言，我们在无条件和有条件生成中分别仅用 27 次和 29 次函数评估（NFEs）就达到了 1.88 和 1.73 的 FID 分数。此外，当应用 AOT 训练用于引导的判别器时，我们分别在无条件和有条件生成中（各使用 29 次 NFEs）建立了 1.68 和 1.58 的新最先进 FID 分数。这一结果证明了 AOT 在提升扩散模型性能方面的有效性。
引用
@article{arxiv.2403.05069,
title = {Improving Diffusion-Based Generative Models via Approximated Optimal Transport},
author = {Daegyu Kim and Jooyoung Choi and Chaehun Shin and Uiwon Hwang and Sungroh Yoon},
journal= {arXiv preprint arXiv:2403.05069},
year = {2024}
}