一种用于图像到图像翻译的新型双层范式
计算机视觉与模式识别
2019-04-22 v1
摘要
图像到图像 (I2I) 翻译是一种像素级映射，需要大量成对训练数据，且常受图像场景中高多样性和强类别偏置问题的困扰。为解决这些问题，我们提出了一种新颖的双层 (BiLevel, BiL) 学习范式，该范式交替学习两个模型，分别位于实例特定 (IS) 层和通用 (GP) 层。在每个场景中，IS 模型学习保持特定场景属性。它由 GP 模型初始化，后者从所有场景中学习以获得可泛化的翻译知识。这种 GP 初始化为 IS 模型提供了高效的起点，从而使其能用稀缺训练数据快速适应新场景。我们在人脸和街景数据集上进行了广泛的 I2I 翻译实验。定量结果验证了我们的方法能显著提升经典 I2I 翻译模型（如 PG2 和 Pix2Pix）的性能。我们的可视化结果显示出更高的图像质量与更恰当的实例特定细节，例如，一个人的翻译图像在身份上更像是该人。
引用
@article{arxiv.1904.09028,
title = {A Novel BiLevel Paradigm for Image-to-Image Translation},
author = {Liqian Ma and Qianru Sun and Bernt Schiele and Luc Van Gool},
journal= {arXiv preprint arXiv:1904.09028},
year = {2019}
}