基于生成对抗网络的非配对高分辨率可扩展风格迁移
计算机视觉与模式识别
2018-10-16 v1 机器学习
机器学习
摘要
神经网络已在多种数据上的回归或分类任务中超越诸多其他方法，证明了自身能力。使用神经网络作为数据生成器亦取得惊人结果，尤其在生成对抗网络（GANs）设定下。一个特殊应用是图像域翻译领域。其目标为取具有某种风格（如摄影）的图像，并将其变换为另一种风格（如绘画）。若此类任务以非配对训练样本执行，相应 GAN 设定复杂、神经网络庞大，导致训练与评估阶段峰值内存消耗均高。这为可处理的最高图像尺寸设限。我们通过不一次性处理整图、而在重叠图像子样本层级训练与评估域翻译的思想解决此问题。这一新方法不仅使我们能翻译否则无法被神经网络一次性处理的高分辨率图像，也允许我们使用相对较小神经网络与有限硬件资源工作。此外，训练过程所需图像数量显著减少。我们给出了总分辨率高达逾 5000 万像素图像上的高质量结果，并证明我们的方法有助于保留局部图像细节，同时保持全局一致性。
引用
@article{arxiv.1810.05724,
title = {Unpaired High-Resolution and Scalable Style Transfer Using Generative Adversarial Networks},
author = {Andrej Junginger and Markus Hanselmann and Thilo Strauss and Sebastian Boblest and Jens Buchner and Holger Ulmer},
journal= {arXiv preprint arXiv:1810.05724},
year = {2018}
}
备注
10 pages, 8 figures