SPG-Net:用于图像修复的分割预测与引导网络
计算机视觉与模式识别
2018-08-08 v4
摘要
本文关注图像修复任务,旨在根据上下文信息恢复不完整图像的缺失区域。深度生成模型的最新进展为图像合成与修复任务提供了高效的端到端框架,但现有基于生成模型的方法未利用分割信息来约束物体形状,通常在边界处产生模糊结果。为解决该问题,我们提出引入语义分割信息,以解耦图像修复中的类间差异与类内变化。这使得语义不同区域间恢复出的边界更清晰,且在语义一致片段内纹理更好。我们的模型将图像修复过程分解为分割预测(SP-Net)与分割引导(SG-Net)两步,先预测缺失区域的分割标签,再生成分割引导的修复结果。在多个公开数据集上的实验表明,我们的方法在优化图像修复质量上优于现有方法,且交互式分割引导为图像修复的多模态预测提供了可能。
引用
@article{arxiv.1805.03356,
title = {SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting},
author = {Yuhang Song and Chao Yang and Yeji Shen and Peng Wang and Qin Huang and C. -C. Jay Kuo},
journal= {arXiv preprint arXiv:1805.03356},
year = {2018}
}
备注
BMVC 2018 camera ready