实时局部逼真视频风格迁移

我们提出了一种新颖算法，用于将图像中语义上有意义的局部区域的艺术风格迁移到目标视频的局部区域，同时保持其照片真实感（photorealism）。局部区域可以完全自动地从图像中选取（通过使用视频分割算法），或来自随意的用户引导如涂鸦。我们的方法基于受近期照片逼真风格迁移工作启发的深度神经网络架构，是实时的，并且在多样艺术风格数据集上训练后无需运行时优化即可处理任意输入。通过用含噪语义标签扩充我们的视频数据集，并联合优化风格、内容、掩码和时间损失，我们的方法能应对输入中的多种缺陷，并生成无视觉伪影的时间相干视频。我们在多种风格图像和目标视频上演示了我们的方法，包括将不同风格同时迁移到多个对象以及随时间在风格间平滑过渡的能力。