连续图像的对抗生成
计算机视觉与模式识别
2021-06-29 v2 人工智能
机器学习
摘要
在大多数现有学习系统中，图像通常被视为二维像素阵列。然而，在另一种日益流行的范式中，二维图像被表示为隐式神经表示（INR）——一个给定坐标 (x,y) 预测 RGB 像素值的 MLP。本文中，我们提出两种构建基于 INR 的图像解码器的新型架构技术：因子化乘法调制和多尺度 INR，并用它们构建了一个最先进的连续图像 GAN。先前将 INR 用于图像生成的尝试仅限于类似 MNIST 的数据集，无法扩展到复杂真实世界数据。我们提出的 INR-GAN 架构将连续图像生成器的性能提升了数倍，大幅缩小了连续图像 GAN 与基于像素的 GAN 之间的差距。除此之外，我们探索了基于 INR 的解码器的若干令人兴奋的特性，如开箱即用的超分辨率、有意义的图像空间插值、低分辨率图像的加速推理、在图像边界外推的能力，以及强几何先验。项目页面位于 https://universome.github.io/inr-gan。
引用
@article{arxiv.2011.12026,
title = {Adversarial Generation of Continuous Images},
author = {Ivan Skorokhodov and Savva Ignatyev and Mohamed Elhoseiny},
journal= {arXiv preprint arXiv:2011.12026},
year = {2021}
}
备注
19 pages, 17 figures