MagicRemover：基于扩散模型的免调优文本引导图像修复
计算机视觉与模式识别
2023-10-05 v1
摘要
图像修复旨在以视觉连贯且语义合理的內容填补缺失像素。尽管深度生成模型带来了巨大进展，该任务仍受制于：i. 大规模真实数据收集与高成本模型训练的困难；以及 ii. 传统用户定义的二值掩码在边界不清或透明纹理物体上的固有局限。本文提出MagicRemover，一种利用强大扩散模型进行文本引导图像修复的免调优方法。我们引入注意力引导策略以约束扩散模型的采样过程，实现指定区域的擦除与遮挡内容的复原。我们进一步提出一种分类器优化算法，以在更少采样步数内提升去噪稳定性。我们在MagicRemover与包括SOTA方法在内的现有方法间进行了大量对比，含定量评估与用户研究，证明了MagicRemover在高质量图像修复上的显著提升。我们的代码将发布于https://github.com/exisas/Magicremover。
引用
@article{arxiv.2310.02848,
title = {Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models},
author = {Siyuan Yang and Lu Zhang and Liqian Ma and Yu Liu and JingJing Fu and You He},
journal= {arXiv preprint arXiv:2310.02848},
year = {2023}
}