混合匹配网络：用于零配对图像翻译的编码器-解码器对齐
计算机视觉与模式识别
2018-04-09 v1 机器学习
摘要
我们解决域或模态之间无直接配对数据可用（即零配对翻译）的图像翻译问题。我们提出混合匹配网络，基于多个编码器和解码器以这样一种方式对齐：其他编码器-解码器对可在测试时组合，以执行训练期间未见到显式配对样本的域或模态间的未知图像翻译任务。我们研究了自编码器、侧信息和损失在改善成对翻译模型的对齐与可迁移性至未知翻译中的作用。我们展示的方法具有可扩展性，并能对未知域组合执行上色与风格迁移。我们在一个具有挑战性的跨模态设定下评估系统，其中语义分割由深度图像估计，而无需显式访问任何深度-语义分割训练对。我们的模型优于基于 pix2pix 和 CycleGAN 模型的基线。
引用
@article{arxiv.1804.02199,
title = {Mix and match networks: encoder-decoder alignment for zero-pair image translation},
author = {Yaxing Wang and Joost van de Weijer and Luis Herranz},
journal= {arXiv preprint arXiv:1804.02199},
year = {2018}
}
备注
Accepted CVPR 2018