V-LinkNet：在生成对抗网络潜空间中进行上下文修复学习
计算机视觉与模式识别
2022-05-18 v2
摘要
图像修复是图像处理任务中预测缺失区域并生成逼真图像的关键技术。鉴于现有具备特征提取、传播与重建能力的生成式修复模型的进展，仍缺乏在更深层次上高质量特征提取与传递机制，以应对生成修复区域上持续存在的像差。我们的方法V-LinkNet开发了向修复区域深层纹理上下文的高层特征传递，提出了一种通过递归残差过渡层(RSTL)联合编码器学习的新技术。RSTL层通过直接通信增加独特语义信息，轻松适配双编码器。通过双编码器结构与上下文化特征表示损失函数协作，我们的系统获得了利用高层特征进行修复的能力。为减少随机掩码-图像配对带来的偏差，我们在CelebA-HQ、Paris Street View和Places2数据集的测试集上引入了一种带配对掩码-图像的标准协议。我们的结果表明，使用该标准协议时V-LinkNet在CelebA-HQ和Paris Street View上表现更优。本文被接收后，我们将向研究界分享标准协议与代码。
引用
@article{arxiv.2201.00323,
title = {V-LinkNet: Learning Contextual Inpainting Across Latent Space of Generative Adversarial Network},
author = {Jireh Jam and Connah Kendrick and Vincent Drouard and Kevin Walker and Moi Hoon Yap},
journal= {arXiv preprint arXiv:2201.00323},
year = {2022}
}
备注
13 pages including references, 9 figures and 4 tables