MAT：面向大缺失区域图像修复的掩码感知 Transformer
计算机视觉与模式识别
2022-06-28 v3
摘要
近期研究已表明在图像修复问题中建模长程交互的重要性。为实现这一目标，现有方法要么利用独立的注意力技术，要么利用 transformers，但出于计算成本的考虑通常在低分辨率下进行。本文提出一种基于 transformer 的新型大缺失区域图像修复模型，其统一了 transformers 与卷积的优势以高效处理高分辨率图像。我们精心设计了框架的每个组件，以保证修复图像的高保真度与多样性。具体而言，我们定制了一个面向图像修复的 transformer 模块，其中注意力模块仅从由动态掩码指示的局部有效 token 中聚合非局部信息。大量实验证明了新模型在多个基准数据集上的 SOTA 性能。代码发布于 https://github.com/fenglinglwb/MAT。
引用
@article{arxiv.2203.15270,
title = {MAT: Mask-Aware Transformer for Large Hole Image Inpainting},
author = {Wenbo Li and Zhe Lin and Kun Zhou and Lu Qi and Yi Wang and Jiaya Jia},
journal= {arXiv preprint arXiv:2203.15270},
year = {2022}
}
备注
Accepted in the CVPR2022 Best Paper Finalists, Oral