利用多尺度梯度 U-Net 实现高效高分辨率图像到图像翻译
图像与视频处理
2021-05-28 v1 计算机视觉与模式识别
摘要
近来，条件生成对抗网络（Conditional GAN）在若干图像到图像翻译任务中展现出极具前景的性能。然而，这些条件 GAN 的使用相当局限于低分辨率图像，如 256×256。Pix2Pix-HD 是近期利用条件 GAN 进行高分辨率图像合成的尝试。在本文中，我们提出一种基于多尺度梯度的 U-Net（MSG U-Net）模型，用于高达 2048×1024 分辨率的高分辨率图像到图像翻译。所提模型通过允许多个判别器在多尺度上向单一生成器流动梯度进行训练。所提 MSG U-Net 架构实现了照片级真实的高分辨率图像到图像翻译。此外，与 Pix2Pix-HD 相比，所提模型计算高效，推理时间提升近 2.5 倍。我们在 https://github.com/laxmaniron/MSG-U-Net 提供了 MSG U-Net 模型代码。
引用
@article{arxiv.2105.13067,
title = {Efficient High-Resolution Image-to-Image Translation using Multi-Scale Gradient U-Net},
author = {Kumarapu Laxman and Shiv Ram Dubey and Baddam Kalyan and Satya Raj Vineel Kojjarapu},
journal= {arXiv preprint arXiv:2105.13067},
year = {2021}
}
备注
12 pages, 6 figurea