用于图像修复的生成记忆引导语义推理模型
计算机视觉与模式识别
2022-03-22 v2
摘要
大多数现有图像修复方法侧重于从当前输入图像的已知区域学习图像内先验，以推断同一图像中损坏区域的内容。虽然这类方法在损坏区域较小的图像上表现良好，但由于两个潜在局限，这些方法难以处理具有大面积损坏区域的图像：1）这类方法倾向于仅依赖从有限已知区域学习的图像内先验知识，对每单个训练图像对过拟合；2）关于视觉语义一般分布模式的图像间先验知识（可在共享相似语义的图像间迁移）未被利用。本文中，我们提出生成记忆引导语义推理模型（GM-SRM），它不仅从已知区域学习图像内先验，还提炼图像间推理先验以推断损坏区域的内容。具体而言，所提GM-SRM首先从整个训练数据预学习一个生成记忆，以全局视角捕捉语义分布模式。然后利用所学记忆为当前损坏图像检索匹配的图像间先验，在图像修复过程中执行语义推理。图像内先验用于保证像素级内容一致性，而图像间先验有利于执行高层语义推理，对推断大面积损坏区域的语义内容特别有效。在Paris Street View、CelebA-HQ和Places2基准上的大量实验表明，我们的GM-SRM在视觉质量和定量指标方面均优于最先进的图像修复方法。
引用
@article{arxiv.2110.00261,
title = {Generative Memory-Guided Semantic Reasoning Model for Image Inpainting},
author = {Xin Feng and Wenjie Pei and Fengjun Li and Fanglin Chen and David Zhang and Guangming Lu},
journal= {arXiv preprint arXiv:2110.00261},
year = {2022}
}
备注
13 pages, 10 figures