面向艺术化与逼真渲染的快速通用风格迁移
计算机视觉与模式识别
2019-07-09 v1 图形学
图像与视频处理
摘要
通用风格迁移是一种图像编辑任务，它使用任意参考图像的视觉风格来渲染输入内容图像，包括艺术化和照片逼真风格化。给定一对分别作为内容来源和风格参考的图像，现有方案通常先训练一个自动编码器(AE)以利用深度特征重建图像，然后将预定义的风格迁移模块嵌入AE重建过程，通过修改深度特征来迁移重建图像的风格。现有方法通常需要进行多轮耗时的AE重建以获得更好的风格化效果，而我们的工作旨在基于AE设计新颖的神经网络架构，以单次端到端推理实现快速风格迁移，并减少伪影与失真。为此，我们提出两种分别名为ArtNet和PhotoNet的网络架构，以分别改进艺术化和照片逼真风格化。大量实验表明，与最先进的艺术化迁移算法相比，ArtNet生成的图像具有更少的伪影和失真；而PhotoNet通过生成清晰且忠实保留输入内容丰富细节的图像，改进了照片逼真风格化结果。此外，ArtNet和PhotoNet相比最先进算法可实现3倍至100倍加速，这对于大尺寸内容图像是一大优势。
引用
@article{arxiv.1907.03118,
title = {Fast Universal Style Transfer for Artistic and Photorealistic Rendering},
author = {Jie An and Haoyi Xiong and Jiebo Luo and Jun Huan and Jinwen Ma},
journal= {arXiv preprint arXiv:1907.03118},
year = {2019}
}