面向实时通用真实感风格迁移的联合双边学习
计算机视觉与模式识别
2020-04-28 v2
摘要
真实感风格迁移是将一幅图像的艺术风格迁移到内容目标上，生成看似由相机拍摄的结果。近期基于深度神经网络的方法取得了令人瞩目的结果，但要么在实用分辨率下运行速度太慢，要么仍包含令人不快的伪影。我们提出了一种用于真实感风格迁移的新型端到端模型，该模型不仅速度快，而且本质上能生成真实感结果。我们方法的核心是一个前馈神经网络，它学习局部边缘感知的仿射变换，并自动遵守真实感约束。在多样化的图像和各种风格上训练后，我们的模型能够稳健地对任意一对输入图像进行风格迁移。与现有技术相比，我们的方法产生了视觉上更优的结果，并且速度快了三个数量级，能够在移动手机上实现4K实时性能。我们通过消融实验与用户研究验证了我们的方法。
引用
@article{arxiv.2004.10955,
title = {Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer},
author = {Xide Xia and Meng Zhang and Tianfan Xue and Zheng Sun and Hui Fang and Brian Kulis and Jiawen Chen},
journal= {arXiv preprint arXiv:2004.10955},
year = {2020}
}
备注
16 pages, 10 figures