基于属性引导与半监督学习的无配对图像到图像翻译
计算机视觉与模式识别
2019-04-30 v1
摘要
无配对图像到图像翻译（UIT）致力于利用无配对数据在不同域之间翻译图像，因其实际用途而受到越来越多的研究关注。然而，现有 UIT 方案存在需要监督训练以及缺乏域信息编码的缺陷。本文提出一种称为 AGUIT 的属性引导 UIT 模型，以应对这两大挑战。AGUIT 通过一种新颖的半监督设定联合考虑 UIT 的多模态与多域任务，并在表示解耦与输出精细控制方面具有优势。具体而言，AGUIT 有双重益处：（1）它采用一种新颖的半监督学习过程，将标注数据的属性翻译至无标注数据，随后通过循环一致性操作重建无标注数据。（2）它将图像表示分解为域不变的内容编码与域特定的风格编码。重新设计的风格编码将图像风格嵌入到从标准高斯分布与域标签分布中抽取的两个变量中，由于两变量的连续性，这有利于翻译的精细控制。最后，我们为 UIT 模型引入一项新挑战，即解耦迁移，其利用解耦表示来翻译与训练集关联较弱的数据。大量实验证明了 AGUIT 相对于现有最先进模型的能力。
引用
@article{arxiv.1904.12428,
title = {Attribute Guided Unpaired Image-to-Image Translation with Semi-supervised Learning},
author = {Xinyang Li and Jie Hu and Shengchuan Zhang and Xiaopeng Hong and Qixiang Ye and Chenglin Wu and Rongrong Ji},
journal= {arXiv preprint arXiv:1904.12428},
year = {2019}
}