UTSGAN：用于过渡感知图像到图像翻译的未见过渡 Suss GAN
计算机视觉与模式识别
2023-04-25 v1 机器学习
摘要
在图像到图像（I2I）翻译领域，确保输入图像与其翻译结果之间的一致性，是产生高质量且符合预期输出的关键要求。以往的 I2I 方法依赖结果一致性（强制翻译结果与真实输出之间的一致）来实现这一目标。然而，结果一致性在处理翻译任务中复杂且未见的属性变化时能力有限。为解决此问题，我们引入一种过渡感知的 I2I 翻译方法，其中数据翻译映射由过渡变量显式参数化，从而能够对由未见过渡触发的未观测翻译进行建模。此外，我们提出使用定义在过渡变量上的过渡一致性，以对未观测翻译的一致性进行正则化，而这是以往工作所忽略的。基于这些见解，我们提出 Unseen Transition Suss GAN（UTSGAN），一种生成框架，它利用随机过渡编码器为过渡构建流形，并通过专门设计的约束，在训练与未观测翻译上连贯地正则化并泛化结果一致性与过渡一致性。在五个不同数据集上进行的四项不同 I2I 任务的广泛实验，证明了我们所提 UTSGAN 在执行一致性翻译方面的有效性。
引用
@article{arxiv.2304.11955,
title = {UTSGAN: Unseen Transition Suss GAN for Transition-Aware Image-to-image Translation},
author = {Yaxin Shi and Xiaowei Zhou and Ping Liu and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2304.11955},
year = {2023}
}
备注
17 pages, 17 figures