面向语义分割的极弱监督图像到图像翻译
计算机视觉与模式识别
2019-09-19 v1
摘要
生成模型与对抗训练的最新进展催生了丰富的图像到图像（I2I）翻译文献。当前的 I2I 翻译方法需要使用来自两个域的训练图像，这些图像要么全部成对（监督），要么全部不成对（无监督）。在实践中，以足够数量获取成对训练数据通常代价高昂且繁琐。因此，采用不成对数据的方案尽管精度较低，却被广泛青睐。在本文中，我们旨在弥合监督与无监督 I2I 翻译之间的差距，并应用于语义图像分割。我们基于最先进的基础性 I2I 翻译技术 pix2pix 和 CycleGAN 构建。我们提出一种筛选（极少）成对训练样本的方法，并在监督与无监督 I2I 翻译设定下均相对随机选取取得显著改进。此外，我们通过将（筛选出的）成对样本与不成对样本同时纳入训练过程来提升性能。我们的实验表明，仅使用单个成对训练样本的极弱监督 I2I 翻译方案，可取得远优于无监督 CycleGAN 模型的量化性能，并与在数千对样本上训练的监督 pix2pix 模型相当。
引用
@article{arxiv.1909.08542,
title = {Extremely Weak Supervised Image-to-Image Translation for Semantic Segmentation},
author = {Samarth Shukla and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:1909.08542},
year = {2019}
}