EditGAN：高精度语义图像编辑
计算机视觉与模式识别
2021-11-08 v1 人工智能
摘要
生成对抗网络（GANs）近来在图像编辑中找到了应用。然而，大多数基于GAN的图像编辑方法通常需要带语义分割标注的大规模数据集进行训练，仅提供高层控制，或只是在不同图像间插值。在此，我们提出EditGAN，一种用于高质量、高精度语义图像编辑的新方法，允许用户通过修改其高度精细的部件分割掩码（例如，为汽车头灯绘制新掩码）来编辑图像。EditGAN构建于一个联合建模图像及其语义分割的GAN框架之上，仅需少量标注样本，使其成为可扩展的编辑工具。具体而言，我们将图像嵌入GAN潜空间，并根据分割编辑执行条件潜码优化，这同时也有效修改了图像。为分摊优化成本，我们在潜空间中找到实现编辑的编辑向量。该框架允许我们学习任意数量的编辑向量，之后可直接以交互速率应用于其他图像。我们通过实验表明，EditGAN能以前所未有的细节与自由度操控图像，同时保持完整图像质量。我们还可轻松组合多次编辑，并执行超出EditGAN训练数据的合理编辑。我们在多种图像类型上演示了EditGAN，并在标准编辑基准任务上定量优于若干先前编辑方法。
引用
@article{arxiv.2111.03186,
title = {EditGAN: High-Precision Semantic Image Editing},
author = {Huan Ling and Karsten Kreis and Daiqing Li and Seung Wook Kim and Antonio Torralba and Sanja Fidler},
journal= {arXiv preprint arXiv:2111.03186},
year = {2021}
}