S2ST：在隐扩散种子空间中实现图像到图像翻译
计算机视觉与模式识别
2023-12-04 v1 图形学
机器学习
摘要
图像到图像翻译（I2IT）指将图像从源域转换到目标域，同时在图像内容层面保持基本关联的过程。过去几年，生成对抗网络（GANs）在 I2IT 上取得显著进展，但其在需要高精度的翻译上仍力有不逮。近来，扩散模型已确立为图像生成的首选引擎。本文中，我们介绍 S2ST，一种专为复杂真实感图像（如自动驾驶场景的白天到夜晚或晴朗到下雨翻译）中全局 I2IT 设计的新框架。S2ST 在隐扩散模型的种子空间中运作，从而利用后者学到的强大图像先验。我们表明，在复杂自动驾驶场景上，S2ST 超越最先进的基于 GAN 的 I2IT 方法以及基于扩散的方法，在多种域中提升保真度的同时尊重目标域的外观。值得注意的是，S2ST 免除了训练特定域翻译网络的必要。
引用
@article{arxiv.2312.00116,
title = {S2ST: Image-to-Image Translation in the Seed Space of Latent Diffusion},
author = {Or Greenberg and Eran Kishon and Dani Lischinski},
journal= {arXiv preprint arXiv:2312.00116},
year = {2023}
}
备注
17 pages, 15 figures