SIEDOB：通过解耦物体与背景的语义图像编辑
计算机视觉与模式识别
2023-03-24 v1
摘要
语义图像编辑为用户提供了一种灵活的工具，可在相应分割图的引导下修改给定图像。在该任务中，前景物体与背景的特征差异显著。然而，以往所有方法均使用单一整体模型将背景与物体作为整体处理。因此，它们在处内容丰富图像时仍存局限，且难以生成不真实的物体与纹理不一致的背景。为解决此问题，我们提出了一种新范式，即通过解耦物体与背景的语义图像编辑（SIEDOB），其核心思想是显式利用多个异构子网络分别处理物体与背景。首先，SIEDOB 将编辑输入拆解为背景区域与实例级物体。随后，我们将它们送入专用生成器。最后，所有合成部分被嵌入其原始位置，并利用融合网络获得协调结果。此外，为生成高质量编辑图像，我们提出了若干创新设计，包括语义感知自传播模块、边界锚定块判别器与风格多样物体生成器，并将其集成至 SIEDOB。我们在 Cityscapes 与 ADE20K-Room 数据集上进行了充分实验，结果表明我们的方法显著优于基线，尤其在合成真实且多样物体与纹理一致背景方面。
引用
@article{arxiv.2303.13062,
title = {SIEDOB: Semantic Image Editing by Disentangling Object and Background},
author = {Wuyang Luo and Su Yang and Xinjian Zhang and Weishan Zhang},
journal= {arXiv preprint arXiv:2303.13062},
year = {2023}
}
备注
CVPR 2023 highlight paper