从全局深入纹理与结构信息用于图像修复

图像修复已取得显著进展并催生了丰富的方法，其中关键瓶颈被认定为如何在被掩码区域上以语义填充高频结构与低频纹理信息。为此，深度模型展现出捕获此类信息的强大优势，却受限于局部空间区域。本文中，我们从全局深入纹理与结构信息，以良好捕获语义用于图像修复。与陷于独立局部块的现有方法不同，每个块的纹理信息由整幅图像中所有其他块重建，以匹配粗略填充的信息，特别是被掩码区域上的结构信息。与当前用于图像修复的像素级仅解码器 transformer 不同，我们的模型采用配对的编码器与解码器 transformer 流程。一方面，编码器通过自注意力模块捕获整幅图像中所有块的纹理语义关联。另一方面，在解码器中为被掩码区域上填充的块动态建立自适应块词汇表。在此基础上，一个锚定于已知区域的结构-纹理匹配注意力模块通过概率扩散过程将这两者的优势结合以渐进修复。我们的模型从纹理与结构信息视角看，与 CNN、注意力及 Transformer 等流行方法正交。在基准上的大量实验验证了其优越性。代码见 https://github.com/htyjers/DGTS-Inpainting。