DeepMovie：利用光流与深度神经网络对电影进行风格化
计算机视觉与模式识别
2016-05-27 v1 神经与进化计算
摘要
Gatys 等人最近的一篇论文描述了一种以另一幅图像风格渲染一幅图像的方法。首先，他们使用卷积神经网络特征构建图像风格的统计模型。然后创建一幅具有一幅图像内容但另一幅图像风格统计量的新图像。在此，我们将该方法扩展至以给定艺术风格渲染电影。独立渲染每帧的朴素方案产生较差结果，因为风格特征在相邻帧间大幅移动。另一种朴素方法使用前一帧的渲染版本初始化下一帧的优化，同样产生较差结果，因为纹理特征相对于电影帧保持固定，而非随场景中物体移动。本文的主要贡献是使用光流初始化风格迁移优化，使得纹理特征随视频中物体移动。最后，我们提出一种将光流显式纳入代价函数的方法。
引用
@article{arxiv.1605.08153,
title = {DeepMovie: Using Optical Flow and Deep Neural Networks to Stylize Movies},
author = {Alexander G. Anderson and Cory P. Berg and Daniel P. Mossing and Bruno A. Olshausen},
journal= {arXiv preprint arXiv:1605.08153},
year = {2016}
}
备注
11 pages, 5 figures