ZITS++：基于结构先验上增量Transformer改进的图像修复
计算机视觉与模式识别
2023-05-25 v3
摘要
图像修复旨在填充受损图像的缺失区域。尽管近期已取得令人瞩目的结果，恢复兼具生动纹理与合理结构的图像仍是一项重大挑战。先前方法主要处理规则纹理，但因卷积神经网络(CNNs)感受野有限而忽视整体结构。为此，我们研究基于零初始化残差加法的结构先验增量Transformer(ZITS++)，即我们会议工作ZITS的改进模型。具体而言，给定一张受损图像，我们提出Transformer结构修复器(TSR)模块在低分辨率下恢复整体结构先验，并由简单结构上采样器(SSU)模块上采样至更高分辨率。为恢复图像纹理细节，我们使用傅里叶CNN纹理修复(FTR)模块，其由傅里叶与大核注意力卷积增强。此外，为增强FTR，来自TSR的上采样结构先验经结构特征编码器(SFE)进一步处理，并以零初始化残差加法(ZeroRA)增量优化。另外，提出一种新的掩码位置编码以编码大型不规则掩码。相较ZITS，ZITS++借助若干技术提升了FTR的稳定性与修复能力。更重要的是，我们全面探究了各类图像先验对修复的影响，并研究如何利用它们通过充分实验解决高分辨率图像修复。该探究与多数修复方法正交，因而可显著裨益学界。代码与模型将发布于https://github.com/ewrfcas/ZITS-PlusPlus。
引用
@article{arxiv.2210.05950,
title = {ZITS++: Image Inpainting by Improving the Incremental Transformer on Structural Priors},
author = {Chenjie Cao and Qiaole Dong and Yanwei Fu},
journal= {arXiv preprint arXiv:2210.05950},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2203.00867 accepted by TPAMI2023