SESAME：通过添加、操控或擦除物体实现场景语义编辑
计算机视觉与模式识别
2020-10-09 v2 图形学
机器学习
图像与视频处理
摘要
图像生成的最新进展催生了强大的语义图像编辑工具。然而，现有方法要么只能处理单幅图像，要么需要大量额外信息。它们无法处理完整的编辑操作集合，即语义概念的添加、操控或移除。为应对这些局限，我们提出了 SESAME，一种用于通过添加、操控或擦除物体实现场景语义编辑（Semantic Editing of Scenes by Adding, Manipulating or Erasing objects）的新型生成器-判别器对。在我们的设置中，用户提供待编辑区域的语义标签，生成器合成相应的像素。与之前采用将语义和图像简单拼接作为输入判别器的方法不同，SESAME 判别器由两条输入流组成，分别独立处理图像及其语义，并利用后者操控前者的结果。我们在多个不同的数据集上评估了我们的模型，并在两项任务上报告了最先进的性能：(a) 图像操控和 (b) 基于语义标签的条件图像生成。
引用
@article{arxiv.2004.04977,
title = {SESAME: Semantic Editing of Scenes by Adding, Manipulating or Erasing Objects},
author = {Evangelos Ntavelis and Andrés Romero and Iason Kastanis and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2004.04977},
year = {2020}
}