潜在 Schrodinger 桥: 通过提示扩散模型实现快速无配对图像到图像翻译
计算机视觉与模式识别
2024-11-25 v1 人工智能
机器学习
摘要
扩散模型（DMs）能够从噪声生成图像以及从数据逆转，已激发出强大的无配对图像到图像（I2I）翻译算法。然而，它们通常需要更多的神经函数评估（NFE），限制了实际应用。本文采用 Schrodinger 桥（SBs），即在分布之间以最小传输成本进行的随机微分方程（SDEs），来解决此问题。我们分析了 SBs 的概率流常微分方程（ODE）表述，并注意到可以将其向量场分解为源预测器、目标预测器和噪声预测器的线性组合。灵感来自这一观察，我们提出潜在 Schrodinger 桥（LSBs），通过预训练的 Stable Diffusion 近似 SB ODE，并开发适当的提示优化和变量变换公式以匹配训练和推断之间的分布。我们展示了该算法在无监督设置下仅需前一方法计算成本的少量比例即可成功进行竞争性的 I2I 翻译。
引用
@article{arxiv.2411.14863,
title = {Latent Schrodinger Bridge: Prompting Latent Diffusion for Fast Unpaired Image-to-Image Translation},
author = {Jeongsol Kim and Beomsu Kim and Jong Chul Ye},
journal= {arXiv preprint arXiv:2411.14863},
year = {2024}
}