多模态迁移：用于快速艺术风格迁移的层次化深度卷积神经网络

将艺术风格迁移到日常照片已成为学术界和工业界中极其受欢迎的任务。最近，离线训练取代了在线迭代优化，实现了近乎实时的风格化。然而，当这些风格化网络直接应用于高分辨率图像时，局部区域的风格往往与所需的艺术风格相似度较低。这是因为迁移过程未能捕捉细小、复杂的纹理并保持艺术品的正确纹理尺度。在此，我们提出了一种多模态卷积神经网络，该网络考虑了颜色和亮度通道的忠实表示，并以不断增加尺度的多重损失进行层次化风格化。与最先进的网络相比，我们的网络也可以通过在离线阶段进行复杂得多的训练来近乎实时地执行风格迁移。通过使用多种模态在多个尺度上适当地处理风格和纹理线索，我们不仅可以迁移大尺度、明显的风格线索，还可以迁移微妙、精致的线索。也就是说，我们的方案能够生成视觉上令人愉悦且更类似于多种所需艺术风格的结果，并在多个尺度上包含颜色和纹理线索。