使用部分卷积的不规则孔洞图像修复
计算机视觉与模式识别
2018-12-18 v2
摘要
现有基于深度学习的图像修复方法在受损图像上使用标准卷积网络,其卷积滤波器响应同时依赖于有效像素与掩码孔洞中的替代值(通常为均值)。这常导致如色差与模糊等伪影。后处理通常用于减轻此类伪影,但代价高昂且可能失效。我们提出使用部分卷积,其中卷积被掩码化并重新归一化以仅依赖于有效像素。我们进一步在前向传播中引入自动为下一层生成更新掩码的机制。我们的模型在不规则掩码上优于其他方法。我们给出与其他方法的定性与定量比较以验证我们的方法。
引用
@article{arxiv.1804.07723,
title = {Image Inpainting for Irregular Holes Using Partial Convolutions},
author = {Guilin Liu and Fitsum A. Reda and Kevin J. Shih and Ting-Chun Wang and Andrew Tao and Bryan Catanzaro},
journal= {arXiv preprint arXiv:1804.07723},
year = {2018}
}
备注
Update: camera-ready; L1 loss is size-averaged; code of partial conv layer: https://github.com/NVIDIA/partialconv. Published at ECCV 2018