USIS:无监督语义图像合成
计算机视觉与模式识别
2021-10-01 v1
摘要
语义图像合成(SIS)是图像到图像翻译的一个子类,其从分割掩码合成照片级真实感图像。SIS 大多被作为监督问题来处理。然而,state-of-the-art 方法依赖大量标注数据,且无法应用于非配对设定。另一方面,通用的非配对图像到图像翻译框架表现相对较差,因为它们对语义布局进行颜色编码并将其输入传统卷积网络,后者随后学习的是外观而非语义内容的对应关系。在这项初步工作中,我们提出一种新的无监督语义图像合成范式(USIS),作为缩小配对与非配对设定间性能差距的第一步。值得注意的是,该框架部署了一个 SPADE 生成器,其利用自监督分割损失学习输出具有视觉可分离语义类的图像。此外,为了在不丢失高频信息的情况下匹配真实图像的颜色与纹理分布,我们提出使用基于整图小波的判别。我们在 3 个具挑战性数据集上测试了我们的方法,并展示了其在非配对设定下生成具有更高质量的多模态照片级真实感图像的能力。
引用
@article{arxiv.2109.14715,
title = {USIS: Unsupervised Semantic Image Synthesis},
author = {George Eskandar and Mohamed Abdelsamad and Karim Armanious and Bin Yang},
journal= {arXiv preprint arXiv:2109.14715},
year = {2021}
}