具有细粒度语义一致性的图像补全
计算机视觉与模式识别
2017-11-28 v1
摘要
由于生成对抗网络（GANs）的进步，图像补全取得了显著进展。尽管生成内容看起来自然，但仍缺乏细节，尤其是对于具有复杂结构的场景或具有大缺失区域的图像。这是因为低层重建损失与高层对抗损失之间存在鸿沟。为解决此问题，我们引入感知网络以提供中层引导，在相似度增强空间中度量合成内容与原始内容之间的语义相似性。我们对图像补全中不同损失与不同层级感知特征的作用进行了详细分析，表明对抗训练与感知特征之间存在互补性。通过将二者结合，我们的模型能够以端到端方式实现近乎无缝的融合结果。此外，我们设计了一种高效的轻量生成器架构，可用远少于以往的参数量实现有效的图像修复。在 CelebA Face 和 Paris StreetView 数据集上的评估表明，我们提出的方法显著优于现有方法。
引用
@article{arxiv.1711.09345,
title = {Semantically Consistent Image Completion with Fine-grained Details},
author = {Pengpeng Liu and Xiaojuan Qi and Pinjia He and Yikang Li and Michael R. Lyu and Irwin King},
journal= {arXiv preprint arXiv:1711.09345},
year = {2017}
}
备注
9 pages plus 2-page supplement