最优传输引导的条件基于分数扩散模型
计算机视觉与模式识别
2023-11-03 v1
摘要
条件基于分数扩散模型（SBDM）用于以成对数据为条件对目标数据进行条件生成，并在图像翻译中取得巨大成功。然而，它需要以成对数据作为条件，而现实应用中提供的成对数据可能不足。为应对部分成对甚至无成对数据集的应用，本文提出一种新颖的最优传输引导的条件基于分数扩散模型（OTCS）。我们分别基于正则化无监督或半监督最优传输，为无成对或部分成对数据集建立耦合关系。基于该耦合关系，我们针对无成对或部分成对设定发展了条件基于分数模型的训练目标，该目标建立在对成对设定下条件SBDM的重构与推广之上。利用估计的耦合关系，我们通过设计“按兼容性重采样”策略选取高兼容性采样数据作为引导，有效训练条件基于分数模型。在无成对超分辨率与半成对图像到图像翻译上的大量实验证明了所提OTCS模型的有效性。从最优传输视角看，OTCS提供了一种跨分布传输数据的方法，而这对大规模数据集上的OT而言是一项挑战。我们从理论上证明OTCS在给定理论界下实现了OT中的数据传输。代码见\url{https://github.com/XJTU-XGU/OTCS}。
引用
@article{arxiv.2311.01226,
title = {Optimal Transport-Guided Conditional Score-Based Diffusion Models},
author = {Xiang Gu and Liwei Yang and Jian Sun and Zongben Xu},
journal= {arXiv preprint arXiv:2311.01226},
year = {2023}
}
备注
Accepted in NeurIPS 2023