利用学习到的语义先验进行上下文感知图像修复
计算机视觉与模式识别
2021-06-15 v1
摘要
图像修复的最新进展在生成相当简单背景下的合理视觉细节方面取得了令人印象深刻的成果。然而，对于复杂场景，由于缺失区域内的上下文信息往往模糊不清，恢复合理内容仍然具有挑战性。为解决此问题，我们引入了在语义上有助于估计缺失内容的预备任务。具体而言，我们对预备任务模型进行知识蒸馏，并将特征适配到图像修复中。学习到的语义先验在高层预备任务与低层图像修复之间应部分不变，这不仅有助于理解全局上下文，还为局部纹理的恢复提供结构引导。基于语义先验，我们进一步提出了一种上下文感知图像修复模型，该模型在统一的图像生成器中自适应地整合全局语义与局部特征。语义学习器与图像生成器以端到端方式训练。我们将该模型命名为SPL，以突显其学习和利用语义先验的能力。它在Places2、CelebA和Paris StreetView数据集上达到了最先进水平（state of the art）。
引用
@article{arxiv.2106.07220,
title = {Context-Aware Image Inpainting with Learned Semantic Priors},
author = {Wendong Zhang and Junwei Zhu and Ying Tai and Yunbo Wang and Wenqing Chu and Bingbing Ni and Chengjie Wang and Xiaokang Yang},
journal= {arXiv preprint arXiv:2106.07220},
year = {2021}
}
备注
Accepted by IJCAI 2021