基于扩散模型的轮廓引导物体修复
计算机视觉与模式识别
2024-02-27 v1
摘要
实例分割数据集在训练准确且鲁棒的计算机视觉模型方面发挥着至关重要的作用。然而，获取准确的掩码标注以生成高质量分割数据集是一个昂贵且劳动密集的过程。在这项工作中，我们展示了如何通过从小的标注实例分割数据集开始并对其进行增强，从而有效地获得大规模标注数据集来缓解这一问题。我们通过创建可用标注物体实例的变体来实现这一点，同时保留提供的掩码标注，从而产生新的图像 - 掩码对以添加到标注图像集中。具体而言，我们使用基于扩散的修复模型生成新图像，通过物体轮廓引导扩散过程，用所需的物体类别填充掩码区域。我们表明，物体轮廓为底层修复模型提供了一种简单但可靠且方便的无训练引导信号，通常足以在没有进一步文本引导的情况下用正确类别的物体填充掩码，并以高精度保持生成图像与掩码标注之间的对应关系。实验结果表明，我们的方法成功生成了物体实例的真实变体，在保持其形状特征的同时引入了增强区域的多样性。我们还表明，所提出的方法可以自然地与文本引导和其他图像增强技术相结合。
引用
@article{arxiv.2402.16421,
title = {Outline-Guided Object Inpainting with Diffusion Models},
author = {Markus Pobitzer and Filip Janicki and Mattia Rigotti and Cristiano Malossi},
journal= {arXiv preprint arXiv:2402.16421},
year = {2024}
}