基于门控卷积的自由形式图像修复
计算机视觉与模式识别
2019-10-23 v2 图形学
机器学习
摘要
我们提出一种生成式图像修复系统，用于完成带有自由形式掩码与引导信息的图像。该系统基于从数百万张图像中学习得到的门控卷积，无需额外标注工作。所提出的门控卷积解决了普通卷积将所有输入像素视为有效像素的问题，通过为所有层中每个空间位置上的每个通道提供可学习的动态特征选择机制，推广了部分卷积。此外，由于自由形式掩码可出现在图像中任意位置且形状任意，为单一矩形掩码设计的全局与局部GAN并不适用。因此，我们还提出一种基于块的GAN损失，称为SN-PatchGAN，通过在稠密图像块上施加谱归一化判别器实现。SN-PatchGAN形式简洁，训练快速且稳定。在自动图像修复与用户引导扩展上的结果表明，我们的系统比以往方法生成更高质量且更灵活的结果。我们的系统帮助用户快速移除干扰物体、修改图像布局、清除水印及编辑人脸。代码、演示与模型见：https://github.com/JiahuiYu/generative_inpainting
引用
@article{arxiv.1806.03589,
title = {Free-Form Image Inpainting with Gated Convolution},
author = {Jiahui Yu and Zhe Lin and Jimei Yang and Xiaohui Shen and Xin Lu and Thomas Huang},
journal= {arXiv preprint arXiv:1806.03589},
year = {2019}
}
备注
Accepted in ICCV 2019 Oral; open sourced; interactive demo available: http://jiahuiyu.com/deepfill/