结合局部二值模式学习与空间注意力的深度生成式图像修复模型
计算机视觉与模式识别
2020-09-03 v1
摘要
深度学习（DL）已在图像修复领域展现出强大的能力。基于 DL 的图像修复方法能够生成视觉上可信的结果，但常常产生各种令人不快的伪影，尤其在边界和高纹理区域。为应对这一挑战，在本工作中，我们提出了一种新颖的端到端、两阶段（由粗到细）生成模型，通过将局部二值模式（LBP）学习网络与实际修复网络相结合。具体而言，第一个采用 U-Net 架构的 LBP 学习网络旨在准确预测缺失区域的结构信息，随后引导第二个图像修复网络更好地填充缺失像素。此外，在图像修复网络中集成了一种改进的空间注意力机制，其不仅考虑已知区域与生成区域之间的一致性，也考虑生成区域内部自身的一致性。在包括 CelebA-HQ、Places 和 Paris StreetView 在内的公开数据集上的大量实验表明，我们的模型在定量和定性上均生成了优于最先进竞争算法的修复结果。源代码和训练好的模型将在 https://github.com/HighwayWu/ImageInpainting 提供。
引用
@article{arxiv.2009.01031,
title = {Deep Generative Model for Image Inpainting with Local Binary Pattern Learning and Spatial Attention},
author = {Haiwei Wu and Jiantao Zhou and Yuanman Li},
journal= {arXiv preprint arXiv:2009.01031},
year = {2020}
}