使用去噪扩散隐式模型实现连贯的图像修复

图像修复是指基于部分已揭示的参考图像生成完整、自然图像的任务。近期，许多研究兴趣集中在使用固定扩散模型解决该问题上。这些方法通常直接将中间或最终生成图像的已揭示区域替换为参考图像或其变体的对应区域。然而，由于未揭示区域未直接修改以匹配上下文，导致已揭示与未揭示区域之间出现不连贯。为解决不连贯问题，少数方法引入了严格的贝叶斯框架，但由于计算后验分布时的近似误差，它们往往在生成图像与参考图像之间引入不匹配。在本文中，我们提出 COPAINT，它能够连贯地修复整幅图像而不引入不匹配。COPAINT 同样使用贝叶斯框架联合修改已揭示与未揭示区域，但以一种使误差在去噪步骤中逐渐降至零的方式来近似后验分布，从而严厉惩罚与参考图像的任何不匹配。我们的实验验证了 COPAINT 在客观与主观指标下均优于现有的基于扩散的方法。代码可在 https://github.com/UCSB-NLP-Chang/CoPaint/ 获取。