基于编码变换的生成式过渡机制用于图像到图像翻译

本文重新审视了具有过渡一致性的图像到图像(I2I)翻译问题，即定义在每对数据之间条件数据映射上的一致性。通过用过渡变量 $t$ 显式参数化每个数据映射，即 $x \overset{t(x,y)}{\mapsto}y$，我们发现现有的 I2I 翻译模型主要关注于保持结果上的一致性，例如图像重建或属性预测，我们在本文中称之为结果一致性。这限制了它们在测试阶段以未见过渡生成满意结果的泛化能力。因此，我们提出对 I2I 翻译同时强制结果一致性和过渡一致性，以通过输入与输出间更紧密的一致性裨益该问题。为提升翻译模型的泛化能力，我们提出过渡编码以促成对这两类一致性在未见过渡上的显式正则化。我们进一步将此类显式正则化的一致性推广至分布层面，从而促成 I2I 翻译问题的一个泛化整体一致性。基于上述设计，我们提出的模型称为过渡编码 GAN (Transition Encoding GAN, TEGAN)，能够具备优异的泛化能力，在测试阶段以未见过渡生成真实且语义一致的翻译结果。它还通过我们对数据映射（即过渡）的显式建模，为现有基于 GAN 的 I2I 过渡模型提供了统一理解。在四个不同 I2I 翻译任务上的实验证明了 TEGAN 的有效性与通用性。