用于图像到图像翻译的双扩散隐式桥
计算机视觉与模式识别
2023-03-07 v4 人工智能
机器学习
摘要
常见的图像到图像翻译方法依赖于对源域和目标域数据的联合训练。训练过程需要同时访问两个数据集，这阻碍了数据分离和隐私保护；且现有模型不易适配于新域对的翻译。我们提出双扩散隐式桥（DDIBs），一种基于扩散模型、规避在域对上训练的图像翻译方法。使用 DDIBs 的图像翻译依赖于各自独立在每个域上训练的两个扩散模型，是一个两步过程：DDIBs 首先用源扩散模型获得源图像的隐编码，然后用目标模型解码这些编码以构建目标图像。两步均通过常微分方程（ODEs）定义，因此该过程仅受 ODE 求解器离散化误差影响的循环一致。理论上，我们将 DDIBs 解释为源到隐、以及隐到目标的薛定谔桥（Schrodinger Bridges，一种熵正则化最优传输）的拼接，以解释该方法的有效性。实验上，我们将 DDIBs 应用于合成和高分辨率图像数据集，以展示其在多种翻译任务中的效用及其固有的最优传输特性。
引用
@article{arxiv.2203.08382,
title = {Dual Diffusion Implicit Bridges for Image-to-Image Translation},
author = {Xuan Su and Jiaming Song and Chenlin Meng and Stefano Ermon},
journal= {arXiv preprint arXiv:2203.08382},
year = {2023}
}
备注
18 pages, 12 figures, in the Eleventh International Conference on Learning Representations (ICLR 2023)