SmartBrush：基于扩散模型的文本与形状引导对象修复
计算机视觉与模式识别
2023-03-07 v1
摘要
通用图像修复旨在借助周边信息补全受损图像，几乎无法生成新颖内容。相比之下，多模态修复对修复内容提供了更灵活且实用的控制，例如，文本提示可用于描述具有更丰富属性的对象，掩码可用于约束修复对象的形状，而非仅被视为缺失区域。我们提出了一种名为 SmartBrush 的基于扩散的新模型，利用文本与形状引导补全缺失区域中的对象。尽管 DALLE-2 和 Stable Diffusion 等先前工作可进行文本引导修复，但它们不支持形状引导，且倾向于修改生成对象周边的背景纹理。我们的模型以精确控制结合文本与形状引导。为更好地保留背景，我们提出一种新颖的训练与采样策略，通过为扩散 U-net 增加对象掩码预测来实现。最后，我们引入多任务训练策略，将修复与文本到图像生成联合训练以利用更多训练数据。我们进行了大量实验，表明我们的模型在视觉质量、掩码可控性与背景保留方面均优于所有基线。
引用
@article{arxiv.2212.05034,
title = {SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model},
author = {Shaoan Xie and Zhifei Zhang and Zhe Lin and Tobias Hinz and Kun Zhang},
journal= {arXiv preprint arXiv:2212.05034},
year = {2023}
}