记忆引导的无监督图像到图像翻译

我们提出了一种用于实例级图像到图像翻译的新型无监督框架。尽管近期通过引入额外目标标注取得了进展，现有方法往往难以处理包含多个异质目标的图像。主要原因在于，在推理时它们将全局风格应用于整幅图像，而未考虑实例与背景之间或实例内部的巨大风格差异。为解决该问题，我们提出了一种类感知记忆网络，显式地对局部风格变化进行推理。我们引入了具有一组读取/更新操作的键值记忆结构，以记录类级风格变化并在测试时无需目标检测器即可访问它们。键存储域无关的内容表示用于分配记忆项，而值编码域特定的风格表示。我们还提出了一种特征对比损失以增强记忆项的判别力。我们表明，通过引入我们的记忆，我们可以跨域迁移类感知且准确的风格表示。实验结果表明，我们的模型优于近期实例级方法并达到了最先进的性能。