基于子流形对齐的生成式图像修复
计算机视觉与模式识别
2020-09-15 v2
摘要
图像修复旨在恢复受损图像的缺失区域，其在图像复原与物体去除等方面有诸多应用。然而，当前基于 GAN 的生成式修复模型并未显式利用修复内容与周围上下文之间的结构或纹理一致性。为克服该局限，我们提出在基于 GAN 的修复模型学习过程中，强制修复图像周围的局部数据子流形（或子空间）与原始（未受损）图像周围的子流形对齐（或接近）。我们利用局部本征维数（LID）在深度特征空间中，从图像（记为 iLID）与图像局部块（记为 pLID）两个角度度量 GAN 模型所学数据子流形与原始数据子流形之间的对齐程度。随后我们将 iLID 与 pLID 作为基于 GAN 修复模型的正则项，以促使两个层次的子流形对齐：1）图像级对齐以改善结构一致性；2）块级对齐以改善纹理细节。在四个基准数据集上的实验结果表明，我们提出的模型能比最先进模型生成更准确的结果。
引用
@article{arxiv.1908.00211,
title = {Generative Image Inpainting with Submanifold Alignment},
author = {Ang Li and Jianzhong Qi and Rui Zhang and Xingjun Ma and Kotagiri Ramamohanarao},
journal= {arXiv preprint arXiv:1908.00211},
year = {2020}
}
备注
accepted by IJCAI 2019