利用GAN内部容量实现自然图像的高质量重建
计算机视觉与模式识别
2019-11-14 v1 机器学习
机器学习
摘要
生成对抗网络（GAN）在建模自然图像分布方面已展现出令人印象深刻的成果，其学习到的潜表示能以无监督方式捕捉语义变化。除生成新样本外，利用GAN生成器建模自然图像流形的能力，从而在操控图像时产生可信的变化，具有特殊意义。然而，这条工作路线受限于重建的质量。迄今为止仅考虑了向潜空间的逆映射，我们提出利用生成器中间层的表示，并表明这能带来容量的提升。具体而言，我们观察到在所有最先进GAN模型中都存在的第一个全连接层之后的表示，足以以高视觉保真度表示自然图像。可以在这些图像周围进行插值，获得无法从潜空间生成的一系列新的合理合成图像。最后，作为该逆映射机制潜在应用的一个示例，我们展示了在生成器注意力图中利用学习到的表示来实现自然图像无监督分割的初步结果。
引用
@article{arxiv.1911.05630,
title = {Exploiting GAN Internal Capacity for High-Quality Reconstruction of Natural Images},
author = {Marcos Pividori and Guillermo L. Grinblat and Lucas C. Uzal},
journal= {arXiv preprint arXiv:1911.05630},
year = {2019}
}
备注
This preprint is the result of the work done for the undergraduate dissertation of M. Pividori supervised by L.C. Uzal and G.L. Grinblat, and presented in July 2019