基于傅里叶卷积的分辨率鲁棒大掩码图像修复
计算机视觉与模式识别
2021-11-12 v2 图像与视频处理
摘要
现代图像修复系统尽管取得了显著进展，但在大面积缺失区域、复杂几何结构和高分辨率图像上往往表现不佳。我们发现其主要原因之一在于修复网络和损失函数均缺乏有效的感受野。为缓解此问题，我们提出一种称为大掩码修复（LaMa）的新方法。LaMa 基于：i) 一种使用快速傅里叶卷积（FFC）的新修复网络架构，其具有全图像范围的感受野；ii) 高感受野感知损失；iii) 大训练掩码，其释放了前两个组件的潜力。我们的修复网络在一系列数据集上改进了当前最优水平，甚至在具有挑战性的场景（如周期结构补全）中也取得了优异性能。我们的模型对高于训练时所见分辨率的图像出奇地泛化良好，且以低于竞争基线的参数与时间成本实现了这一点。代码见 \url{https://github.com/saic-mdal/lama}。
引用
@article{arxiv.2109.07161,
title = {Resolution-robust Large Mask Inpainting with Fourier Convolutions},
author = {Roman Suvorov and Elizaveta Logacheva and Anton Mashikhin and Anastasia Remizova and Arsenii Ashukha and Aleksei Silvestrov and Naejin Kong and Harshith Goka and Kiwoong Park and Victor Lempitsky},
journal= {arXiv preprint arXiv:2109.07161},
year = {2021}
}
备注
Winter Conference on Applications of Computer Vision (WACV 2022)