MISF：用于高保真图像修复的多级交互孪生滤波
计算机视觉与模式识别
2022-03-15 v1 多媒体
摘要
尽管取得了显著进展，现有的深度生成式修复方法由于在不同场景间泛化能力低，仍远未达实用水平。因此，生成的图像通常含有伪影或填充像素与真实值差异很大。图像级预测滤波是一种广泛使用的图像复原技术，可根据不同输入场景自适应地预测合适核。受此固有优势启发，我们探索将图像修复作为滤波任务来解决的可能性。为此，我们首先研究了图像级预测滤波用于图像修复的优势与挑战：该方法能保持局部结构并避免伪影，但无法填充大面积缺失区域。接着，我们提出在深度特征层面进行语义滤波，其能填补缺失的语义信息但无法恢复细节。为在采纳各自优势的同时解决上述问题，我们提出一种新颖的滤波技术，即多级交互孪生滤波(MISF)，其包含两个分支：核预测分支(KPB)与语义及图像滤波分支(SIFB)。这两个分支交互连接：SIFB为KPB提供多级特征，而KPB为SIFB预测动态核。最终方法由此兼具有效的语义与图像级填充能力，实现高保真修复。我们在三个具有挑战性的数据集(Dunhuang、Places2 和 CelebA)上验证了方法。我们的方法在 L1、PSNR、SSIM 和 LPIPS 四项指标上优于 SOTA 基线。请于 https://github.com/tsingqguo/misf 试用发布的代码与模型。
引用
@article{arxiv.2203.06304,
title = {MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image Inpainting},
author = {Xiaoguang Li and Qing Guo and Di Lin and Ping Li and Wei Feng and Song Wang},
journal= {arXiv preprint arXiv:2203.06304},
year = {2022}
}
备注
Accepted by CVPR 2022