在单块 GPU 上合成 16K 图像的一次性超高分生成对抗网络
计算机视觉与模式识别
2023-08-29 v3 机器学习
图像与视频处理
摘要
我们提出了一种一次性超高分生成对抗网络（OUR-GAN）框架，它从单张训练图像生成非重复的 16K（16,384 x 8,640）图像，并可在单块消费级 GPU 上训练。OUR-GAN 在低分辨率下生成视觉上合理且形状多样的最初图像，然后通过超分辨率添加细节逐步提升分辨率。由于 OUR-GAN 从真实的超高分（UHR）图像学习，它能够合成具有精细细节和长程一致性的大形状，这依赖于从相对较小图像学到的块分布的传统生成模型难以实现。OUR-GAN 可通过无缝子区域式超分辨率逐部分合成 UHR 图像，从而以 12.5 GB GPU 显存合成高质量 16K 图像，仅用 4.29 GB 即可合成 4K 图像。此外，OUR-GAN 通过应用垂直位置卷积在保持多样性的同时改善视觉一致性。在 ST4K 和 RAISE 数据集上的实验中，OUR-GAN 相比基线一次性合成模型展现出更好的保真度、视觉一致性与多样性。据我们所知，OUR-GAN 是首个在单块消费级 GPU 上生成非重复 UHR 图像的一次性图像合成器。合成图像样本见 https://our-gan.github.io。
引用
@article{arxiv.2202.13799,
title = {One-shot Ultra-high-Resolution Generative Adversarial Network That Synthesizes 16K Images On A Single GPU},
author = {Junseok Oh and Donghwee Yoon and Injung Kim},
journal= {arXiv preprint arXiv:2202.13799},
year = {2023}
}
备注
36 pages, 26 figures