BrushNet：一种基于分解双分支扩散的即插即用图像填充模型
计算机视觉与模式识别
2024-03-12 v1
摘要
图像填充是恢复受损图像的过程，随着扩散模型（DM）的出现取得了显著进展。尽管已有进展，当前用于图像填充的DM适应方法（即修改采样策略或开发特定于图像填充的DM）常常存在语义不一致且图像质量受损的问题。为此，我们提出一种新范式：将被遮盖图像特征和噪声潜在变量分别分配到独立的分支中。这种划分显著降低了模型的学习负担，使其能够以层次化方式精细地融合关键的被遮盖图像信息。我们在此提出BrushNet——一种设计用于将像素级被遮盖图像特征嵌入任意预训练DM的即插即用双分支模型，确保图像填充结果的连贯性和提升。此外，我们引入BrushData和BrushBench以便于基于分割的图像填充训练和性能评估。我们的大量实验分析表明，BrushNet在包括图像质量、遮盖区域保持以及文本连贯性等七个关键指标上的性能均优于现有模型。
引用
@article{arxiv.2403.06976,
title = {BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion},
author = {Xuan Ju and Xian Liu and Xintao Wang and Yuxuan Bian and Ying Shan and Qiang Xu},
journal= {arXiv preprint arXiv:2403.06976},
year = {2024}
}