基于学习语义金字塔的全上下文感知图像修复
计算机视觉与模式识别
2023-06-06 v2
摘要
为图像中的任意缺失区域恢复合理且逼真的内容是一项重要但具有挑战性的任务。尽管最近的图像修复模型在生成生动的视觉细节方面取得了显著进展，但在处理更复杂的场景时，由于上下文模糊性，它们仍可能导致纹理模糊或结构失真。为了解决这个问题，我们提出了语义金字塔网络（SPN），其动机是：从特定的前置任务中学习多尺度语义先验可以极大地有利于图像中局部缺失内容的恢复。SPN 由两个组件组成。首先，它将语义先验从一个前置模型蒸馏到一个多尺度特征金字塔中，从而实现对全局上下文和局部结构的一致理解。在先验学习器内部，我们提出了一个用于变分推理的可选模块，以实现由各种学习到的先验驱动的概率性图像修复。SPN 的第二个组件是一个全上下文感知的图像生成器，它利用（随机的）先验金字塔，在多个尺度上自适应且逐步地细化低级视觉表示。我们将先验学习器和图像生成器作为一个统一模型进行训练，无需任何后处理。我们的方法在 Places2、Paris StreetView、CelebA 和 CelebA-HQ 等多个数据集上，在确定性和概率性修复设置下均达到了最先进的水平。
引用
@article{arxiv.2112.04107,
title = {Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid},
author = {Wendong Zhang and Yunbo Wang and Bingbing Ni and Xiaokang Yang},
journal= {arXiv preprint arXiv:2112.04107},
year = {2023}
}
备注
Accepted by Pattern Recognition, 2023