InGAN：捕捉并重映射自然图像的“DNA”
计算机视觉与模式识别
2019-04-25 v2
摘要
生成对抗网络（GANs）通常学习大型图像数据集中图像的分布，并能够从该分布生成新图像。然而，每幅自然图像都有其自身的内部统计特性，由其独特的图像块分布所刻画。本文提出一种“内部 GAN”（InGAN）——一种图像特定的 GAN——它在单张输入图像上训练并学习其内部的图像块分布。随后它能够合成大量尺寸、形状和长宽比显著不同的新自然图像——所有这些图像都具有与输入图像相同的内部图像块分布（相同的“DNA”）。特别地，尽管图像的全局尺寸/形状发生巨大变化，图像内所有元素保持其局部尺寸/形状。InGAN 完全无监督，除输入图像本身外不需要额外数据。一旦在输入图像上训练完成，它便能在单次前馈过程中将输入重映射到任意尺寸或形状，同时保留相同的内部图像块分布。InGAN 为多种任务提供了统一框架，弥合了纹理与自然图像之间的鸿沟。
引用
@article{arxiv.1812.00231,
title = {InGAN: Capturing and Remapping the "DNA" of a Natural Image},
author = {Assaf Shocher and Shai Bagon and Phillip Isola and Michal Irani},
journal= {arXiv preprint arXiv:1812.00231},
year = {2019}
}