面向可控与增强风格迁移的风格计算分解
计算机视觉与模式识别
2018-11-27 v2
摘要
神经风格迁移已被证明在卷积神经网络(CNN)的帮助下能够有力创作艺术图像。然而,目前仍缺乏对艺术风格的感知成分的计算分析。与一些通过预处理或后处理技术研究风格的早期尝试不同,我们基于 CNN 生成的特征图系统地研究风格的特性。首先,我们使用基于频谱的方法(包括快速傅里叶变换(FFT)、离散余弦变换(DCT))以及潜变量模型(如主成分分析(PCA)、独立成分分析(ICA))将风格计算分解为基本元素。然后,风格的分解引出了多种控制风格元素的方式,这些方式可作为模块嵌入最先进的风格迁移算法中。这种风格分解带来了若干优势。它使得能够通过我们的风格基对不同艺术风格进行计算编码,相似风格聚在一起,从而基于来自多个风格的风格基促进风格的混合或干预,以生成复合风格或新风格来产生风格化图像。实验证明了我们的方法不仅在绘画风格迁移上有效,也在素描风格迁移上有效,这表明了其在图像到素描问题上的可能应用。
引用
@article{arxiv.1811.08668,
title = {Computational Decomposition of Style for Controllable and Enhanced Style Transfer},
author = {Minchao Li and Shikui Tu and Lei Xu},
journal= {arXiv preprint arXiv:1811.08668},
year = {2018}
}
备注
9 pages for main body and 11 pages for appendix. One picture is replaces compared to the last version. Some typos are corrected