形状引导的物体修复
计算机视觉与模式识别
2022-04-19 v1 多媒体
摘要
以往的图像修复工作主要关注背景或部分缺失物体的修复，而修复整个缺失物体的问题尚未被探索。本文研究一种新的图像修复任务，即形状引导的物体修复。给定一张不完整的输入图像，目标是通过基于上下文以及由孔洞形状给出的隐式引导来生成物体以填充孔洞。由于以往的图像修复方法主要为背景修复设计，它们不适用于该任务。因此，我们提出了一种新的数据准备方法以及一种用于物体修复任务的新型上下文物体生成器（CogNet）。在数据方面，我们通过将物体实例作为孔洞来将物体先验融入训练数据。CogNet 具有双流架构，将标准的自底向上图像补全过程与自顶向下物体生成过程相结合。一个预测性类别嵌入模块通过从自底向上特征预测缺失物体的类别来桥接两流，并由此导出语义物体图作为自顶向下流的输入。实验表明，所提方法能生成在视觉外观与语义含义上均契合上下文的真实物体。代码见项目主页 \url{https://zengxianyu.github.io/objpaint}
引用
@article{arxiv.2204.07845,
title = {Shape-guided Object Inpainting},
author = {Yu Zeng and Zhe Lin and Vishal M. Patel},
journal= {arXiv preprint arXiv:2204.07845},
year = {2022}
}