EGSDE：基于能量引导随机微分方程的未配对图像到图像翻译
计算机视觉与模式识别
2022-12-21 v5
摘要
基于分数的扩散模型（SBDMs）在未配对图像到图像翻译（I2I）中取得了 SOTA FID 结果。然而，我们注意到现有方法完全忽略了源域中的训练数据，导致未配对 I2I 的次优解。为此，我们提出了能量引导随机微分方程（EGSDE），其采用在源域和目标域上预训练的能量函数来引导预训练 SDE 的推理过程，以实现逼真且保真的未配对 I2I。基于两个特征提取器，我们精心设计了能量函数，使其鼓励迁移图像保留域无关特征并丢弃域特定特征。此外，我们将 EGSDE 提供为一种专家乘积的替代解释，其中三个专家（对应于 SDE 和两个特征提取器）各自仅贡献于保真度或真实感。在经验上，我们在四个指标下、三个广泛采用的未配对 I2I 任务上将 EGSDE 与大量基线进行比较。EGSDE 不仅在几乎所有设置中持续优于现有的基于 SBDMs 的方法，而且在不损害保真性能的情况下取得了 SOTA 真实感结果。此外，EGSDE 允许在真实感和保真度之间进行灵活权衡，并且我们通过调整超参数进一步改善了真实感结果（例如，在 AFHQ 上 Cat to Dog 的 FID 为 51.04，Wild to Dog 的 FID 为 50.43）。代码可在 https://github.com/ML-GSAI/EGSDE 获取。
引用
@article{arxiv.2207.06635,
title = {EGSDE: Unpaired Image-to-Image Translation via Energy-Guided Stochastic Differential Equations},
author = {Min Zhao and Fan Bao and Chongxuan Li and Jun Zhu},
journal= {arXiv preprint arXiv:2207.06635},
year = {2022}
}
备注
NIPS 2022