修复图像中感知伪影的定位
计算机视觉与模式识别
2022-08-09 v1
摘要
图像修复是目标移除和图像编辑等多种实际应用中的一项基本任务。基于深度 GAN 的模型大幅提升了孔洞内结构与纹理的修复性能，但也可能生成断裂结构或颜色块等意外伪影。用户通过感知这些伪影来判断修复模型的有效性，并在典型的修饰工作流中修饰这些不完美区域以再次修复。受此工作流启发，我们提出一项自动分割修复感知伪影的新学习任务，并将该模型应用于修复模型评估与迭代优化。具体而言，我们首先通过在最先进修复模型结果中手动标注感知伪影，构建了一个新的修复伪影数据集。随后我们在该数据集上训练先进的分割网络，以可靠定位修复图像中的修复伪影。其次，我们提出一种称为感知伪影比（Perceptual Artifact Ratio, PAR）的新可解释评价指标，即令人反感的修复区域占整个修复区域的比例。PAR 与现实用户偏好表现出强相关性。最后，我们将生成的掩码结合多种近期修复方法，进一步应用于迭代图像修复。大量实验表明，不同方法下的伪影区域均持续减少且修复质量提升。
引用
@article{arxiv.2208.03357,
title = {Perceptual Artifacts Localization for Inpainting},
author = {Lingzhi Zhang and Yuqian Zhou and Connelly Barnes and Sohrab Amirghodsi and Zhe Lin and Eli Shechtman and Jianbo Shi},
journal= {arXiv preprint arXiv:2208.03357},
year = {2022}
}