Inst-Inpaint：基于扩散模型以指令去除物体
计算机视觉与模式识别
2023-08-11 v2
摘要
图像修复任务指从图像中擦除不需要的像素并以语义一致且真实的方式填充。传统上，希望被擦除的像素由二值掩码定义。从应用角度看，用户需要为他们想去除的物体生成掩码，这可能耗时且易出错。本工作中，我们感兴趣于一种图像修复算法，它能基于自然语言输入估计要去除的物体并同时将其移除。为此，我们首先构建了名为 GQA-Inpaint 的数据集用于该任务。其次，我们提出了一种新颖的修复框架 Inst-Inpaint，可基于以文本提示给出的指令从图像中去除物体。我们设置了多种基于 GAN 和扩散模型的基线，并在合成与真实图像数据集上运行实验。我们用衡量模型质量与精度的不同评估指标比较方法，并展示了显著的定量与定性改进。
引用
@article{arxiv.2304.03246,
title = {Inst-Inpaint: Instructing to Remove Objects with Diffusion Models},
author = {Ahmet Burak Yildirim and Vedat Baday and Erkut Erdem and Aykut Erdem and Aysegul Dundar},
journal= {arXiv preprint arXiv:2304.03246},
year = {2023}
}