实时高分辨率逼真图像翻译：一种拉普拉斯金字塔翻译网络
计算机视觉与模式识别
2021-05-20 v1
摘要
现有的图像到图像翻译(I2IT)方法要么受限于低分辨率图像，要么因在高分辨率特征图上卷积带来的沉重计算负担而导致长推理时间。本文中，我们专注于基于闭式拉普拉斯金字塔分解与重建来加速高分辨率逼真 I2IT 任务。具体而言，我们揭示出诸如光照与颜色操控等属性变换更多与低频分量相关，而内容细节可在高频分量上自适应精炼。我们据此提出一种拉普拉斯金字塔翻译网络(LPTN)来同时执行这两类任务，其中设计了一个轻量网络以在降分辨率下翻译低频分量，并采用渐进掩码策略高效精炼高频分量。我们的模型避免了处理高分辨率特征图所消耗的大部分沉重计算，并忠实保留图像细节。在多种任务上的大量实验结果表明，所提方法在使用一块普通 GPU 的情况下可实时翻译 4K 图像，同时取得与现有方法相当的变换性能。数据集与代码见：https://github.com/csjliang/LPTN。
引用
@article{arxiv.2105.09188,
title = {High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network},
author = {Jie Liang and Hui Zeng and Lei Zhang},
journal= {arXiv preprint arXiv:2105.09188},
year = {2021}
}
备注
To appear at CVPR 2021