具有语义可解释信息的增强 GAN 用于图像修复
计算机视觉与模式识别
2019-12-17 v1 人工智能
摘要
图像修复旨在恢复受损图像的缺失区域，具有图像复原、物体去除等诸多应用。然而，当前基于 GAN 的修复模型未能显式考虑修复图像与原始图像之间的语义一致性。例如，给定一幅一只眼睛区域缺失的男性图像，当前模型可能将其修复为女性眼睛。这源于基于 GAN 的修复模型的模糊性：给定缺失区域，这些模型可生成许多可能的修复结果。为克服该局限，我们的核心见解是输入图像（含缺失区域）的语义可解释信息（如属性与分割信息）可为修复过程提供本质引导。基于此见解，我们提出一种具有语义可解释信息的增强 GAN 用于图像修复，其由修复网络与判别网络组成。修复网络利用两个辅助预训练网络发掘输入图像的属性与分割信息，并将其融入修复过程以提供显式的语义级引导。判别网络采用多级设计，可对整体真实感以及与原始图像在属性和分割上的一致性同时施加正则。实验结果表明，我们提出的模型能在属性与分割层面保持一致性，并显著优于 state-of-the-art 模型。
引用
@article{arxiv.1908.04503,
title = {Boosted GAN with Semantically Interpretable Information for Image Inpainting},
author = {Ang Li and Jianzhong Qi and Rui Zhang and Ramamohanarao Kotagiri},
journal= {arXiv preprint arXiv:1908.04503},
year = {2019}
}