用于高质量图像修复的金字塔上下文编码器网络学习
计算机视觉与模式识别
2019-07-12 v4
摘要
高质量图像修复需要用合理的内容填充受损图像中的缺失区域。现有工作或通过复制图像块填充区域，或从区域上下文生成语义一致的块，却忽视了视觉与语义合理性均被高度需求这一事实。本文中，我们提出一种用于图像修复的金字塔上下文编码器网络（PEN-Net），基于深度生成模型。PEN-Net 构建于 U-Net 结构之上，可通过从全分辨率输入编码上下文语义，并将学到的语义特征解码回图像来修复图像。具体而言，我们提出金字塔上下文编码器，其通过注意力从高阶语义特征图渐进学习区域亲和性，并将学到的注意力传递至前一低阶特征图。由于缺失内容可通过从深到浅的金字塔式注意力传递填充，图像修复的视觉与语义一致性均可保证。我们进一步提出具有深度监督金字塔损失与对抗损失的多尺度解码器。此类设计不仅在训练中带来快速收敛，且在测试中产生更真实的结果。在多个数据集上的大量实验显示了所提网络的优越性能。
引用
@article{arxiv.1904.07475,
title = {Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting},
author = {Yanhong Zeng and Jianlong Fu and Hongyang Chao and Baining Guo},
journal= {arXiv preprint arXiv:1904.07475},
year = {2019}
}
备注
Accepted as a CVPR 2019 poster paper; update SUPP;update Eq5;