用于深度分层无监督图像到图像翻译的独立编码器
计算机视觉与模式识别
2021-07-07 v1 图像与视频处理
摘要
图像到图像（I2I）翻译的主要挑战是使翻译图像逼真并尽可能保留源域信息。为此，我们提出一种新颖架构 IEGAN，其移除各网络的编码器并引入独立于其他网络的编码器。相较先前模型，我们的模型体现三点优势：其一，编码器不再接收生成器与判别器损失，故更直接全面地获取图像信息；其二，独立编码器使各网络更专注自身目标，令翻译图像更逼真；其三，编码器数量减少带来更统一的图像表示。然而，当独立编码器采用两个下采样块时，难以提取语义信息。为解决该问题，我们提出含特征与语义信息的深浅信息空间，可在形状或纹理变化显著的任务下引导模型翻译高质量图像。我们将 IEGAN 与先前模型比较，并同时开展语义信息一致性与组件消融研究。实验表明了我们架构的优越性与有效性。代码发布于：https://github.com/Elvinky/IEGAN。
引用
@article{arxiv.2107.02494,
title = {Independent Encoder for Deep Hierarchical Unsupervised Image-to-Image Translation},
author = {Kai Ye and Yinru Ye and Minqiang Yang and Bin Hu},
journal= {arXiv preprint arXiv:2107.02494},
year = {2021}
}