中文

面向视频与球面图像的艺术风格迁移

计算机视觉与模式识别 2018-08-07 v3

摘要

手动以某种艺术风格重新绘制图像需要专业艺术家花费大量时间。单人独立对视频序列执行此操作更是难以想象。我们提出了两种计算方法,将一幅图像(例如一幅画作)的风格迁移到整个视频序列。在第一种方法中,我们将 Gatys 等人提出的基于能量最小化的原始图像风格迁移技术适配到视频上。我们引入了新的初始化方式和新的损失函数,以便在存在大运动和强遮挡的情况下也能生成一致且稳定的风格化视频序列。我们的第二种方法将视频风格化表述为一个学习问题。我们提出了一种深度网络架构和训练流程,使我们能够以一致、稳定且近乎实时的方式对任意长度的视频进行风格化。我们表明,所提出的方法在定性和定量上均明显优于更简单的基线方法。最后,我们提出了一种方法,将这些技术也适配到随近期虚拟现实硬件出现的 360 度图像和视频上。

关键词

引用

@article{arxiv.1708.04538,
  title  = {Artistic style transfer for videos and spherical images},
  author = {Manuel Ruder and Alexey Dosovitskiy and Thomas Brox},
  journal= {arXiv preprint arXiv:1708.04538},
  year   = {2018}
}

备注

v3: added ref to conference. This paper is a successor of and overlaps with arXiv:1604.08610, International Journal of Computer Vision (IJCV), 2018