基于引导PatchMatch与自动筛选的现代相机分辨率图像修复
计算机视觉与模式识别
2022-08-09 v1
摘要
近来，深度模型在低分辨率图像修复上确立了SOTA性能，但在现代相机相关分辨率(如4K或更高)及大孔洞下缺乏保真度。我们贡献了一个代表现代传感器的4K及以上照片的修复基准数据集。我们展示了一种结合深度学习与传统方法的新框架。我们使用现有深度修复模型LaMa合理填充孔洞，建立由结构、分割、深度组成的三张引导图像，并应用多重引导PatchMatch生成八张候选上采样修复图像。接着，我们通过新颖筛选模块将所有候选修复图输入，该模块通过对8x8反对称成对偏好矩阵按列求和来选择良好修复结果。我们的框架结果在用户偏好上压倒性超过8个强基线，定量指标较最佳基线LaMa提升达7.4，且我们的技术与4种不同SOTA修复骨干结合时均改进各自结果，使用户偏好压倒性超过强超分辨率基线。
引用
@article{arxiv.2208.03552,
title = {Inpainting at Modern Camera Resolution by Guided PatchMatch with Auto-Curation},
author = {Lingzhi Zhang and Connelly Barnes and Kevin Wampler and Sohrab Amirghodsi and Eli Shechtman and Zhe Lin and Jianbo Shi},
journal= {arXiv preprint arXiv:2208.03552},
year = {2022}
}
备注
34 pages, 15 figures, ECCV 2022