HD-Painter：基于扩散模型的高分辨率与提示忠实文本引导图像修复
计算机视觉与模式识别
2024-03-19 v3
摘要
基于文本到图像扩散模型前所未有的成功，文本引导图像修复领域的最新进展产生了异常逼真且视觉上合理的结果。然而，当前的文本到图像修复模型仍有显著改进空间，特别是在更好地使修复区域与用户提示对齐以及执行高分辨率修复方面。因此，我们引入了 HD-Painter，这是一种无需训练的方法，能够准确遵循提示并无缝扩展至高分辨率图像修复。为此，我们设计了 Prompt-Aware Introverted Attention (PAIntA) 层，通过提示信息增强自注意力分数，从而产生更好的文本对齐生成结果。为了进一步提高提示连贯性，我们引入了 Reweighting Attention Score Guidance (RASG) 机制，将事后采样策略无缝集成到 DDIM 的一般形式中，以防止分布外潜在偏移。此外，HD-Painter 通过引入专为修复定制的专用超分辨率技术，允许向更大尺度扩展，从而能够完成高达 2K 分辨率图像中缺失区域的补全。我们的实验表明，HD-Painter 在多项指标和用户研究中均定量和定性地超越了现有的 SOTA 方法。代码公开于：https://github.com/Picsart-AI-Research/HD-Painter
引用
@article{arxiv.2312.14091,
title = {HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models},
author = {Hayk Manukyan and Andranik Sargsyan and Barsegh Atanyan and Zhangyang Wang and Shant Navasardyan and Humphrey Shi},
journal= {arXiv preprint arXiv:2312.14091},
year = {2024}
}