一种用于标签到图像翻译的半配对方法
计算机视觉与模式识别
2023-06-27 v2
摘要
数据效率，即从少量标注数据泛化的能力，仍是深度学习中的主要挑战。半监督学习在传统识别任务中蓬勃发展，缓解了对大量标注数据的需求，但在图像到图像翻译（I2I）任务中仍研究不足。在本工作中，我们引入了首个用于标签到图像翻译的半监督（半配对）框架，这是 I2I 的一个具有挑战性的子任务，从语义标签图生成逼真图像。在半配对设定下，模型可访问一小部分配对数据和更大规模的非配对图像与标签。与以往工作使用几何变换作为 pretext 任务不同，我们通过利用配对数据上的条件判别器作为反向生成器来借助输入重建任务。我们提出了该共享网络的训练算法，并给出了一种聚焦于代表性不足类别的稀有类采样算法。在 3 个标准基准上的实验表明，所提模型在使用远少配对样本的情况下，优于最先进的（SOTA）无监督与半监督方法以及一些全监督方法。
引用
@article{arxiv.2306.13585,
title = {A Semi-Paired Approach For Label-to-Image Translation},
author = {George Eskandar and Shuai Zhang and Mohamed Abdelsamad and Mark Youssef and Diandian Guo and Bin Yang},
journal= {arXiv preprint arXiv:2306.13585},
year = {2023}
}