先验中藏玄机：以更优噪声与结构先验改进基于 GAN 的图像与序列修复
计算机视觉与模式识别
2019-08-19 v1
摘要
当代基于深度学习的修复算法主要基于监督重建损失随后无监督对抗判别损失的混合双阶段训练策略。然而，关于完全无监督的基于 GAN 的修复框架的文献十分匮乏。人们对后一类方法的主要抵触源于其在推理时需要极其缓慢的迭代优化来为掩码图像寻找匹配的噪声先验。本文中，我们表明先验在 GAN 中至关重要：我们学习一个数据驱动的参量化网络来预测给定图像的匹配先验。这将迭代范式转变为单次前馈推理流程，实现了 1500 倍的巨大加速并同时提升重建质量。我们表明，在 GAN 模型上施加额外的结构先验可得到更高保真度的输出。为将模型扩展至序列修复，我们提出一种基于循环网络的分组噪声先验学习。据我们所知，这是首次展示无监督的基于 GAN 的序列修复。通过额外的子序列一致性损失，序列修复得到进一步改善。这些贡献提升了重建序列的时空特性。在 SVHN、Standford Cars、CelebA 和 CelebA-HQ 图像数据集、合成序列及 ViDTIMIT 视频数据集上开展的广泛实验表明，我们持续优于以往无监督基线，并取得了与混合基准相当（有时更优）的性能。
引用
@article{arxiv.1908.05861,
title = {The Angel is in the Priors: Improving GAN based Image and Sequence Inpainting with Better Noise and Structural Priors},
author = {Avisek Lahiri and Arnav Kumar Jain and Prabir Kumar Biswas},
journal= {arXiv preprint arXiv:1908.05861},
year = {2019}
}