SketchEdit：基于局部草图的无掩码局部图像操作
计算机视觉与模式识别
2021-12-01 v1 多媒体
摘要
基于草图的图像操作是一项交互式图像编辑任务，旨在根据用户输入的草图修改图像。现有方法通常将此任务表述为条件图像修复问题，这要求用户除了草图外，还需绘制额外的掩码以指示要修改的区域。被掩码的区域被视为空洞，并由以草图为条件的图像修复模型填充。通过这种表述，可以通过随机创建掩码并提取边缘或轮廓来轻松获取成对训练数据。尽管这种设置简化了数据准备和模型设计，但它使交互复杂化，并丢弃了掩码区域中的有用信息。为此，我们研究了一种基于草图的图像操作新范式：无掩码局部图像操作，它仅需用户输入草图并利用整个原始图像。给定一张图像和草图，我们的模型自动预测目标修改区域，并将其编码为结构不可知的风格向量。随后，生成器根据风格向量和草图合成新的图像内容。最终，通过将生成器输出融合到原始图像的修改区域中，生成操作后的图像。我们的模型可以通过学习从风格向量和草图重建图像区域，以自监督方式进行训练。所提出的方法为基于草图的图像操作提供了更简单、更直观的用户工作流，并提供了比以往方法更好的结果。更多结果、代码和交互式演示将在 \url{https://zengxianyu.github.io/sketchedit} 上提供。
引用
@article{arxiv.2111.15078,
title = {SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches},
author = {Yu Zeng and Zhe Lin and Vishal M. Patel},
journal= {arXiv preprint arXiv:2111.15078},
year = {2021}
}