非参数化神经风格迁移

我们似乎很容易想象一张以文森特·梵高《星月夜》的风格绘制的埃菲尔铁塔照片，但仔细思考后却难以精确定义这究竟意味着什么。一幅图像必须包含哪些视觉元素才能代表埃菲尔铁塔的“内容”？《星月夜》中哪些视觉元素是由梵高的“风格”而非他描绘夜空下村庄的构思所导致？精确定义“内容”与“风格”是设计艺术风格迁移算法（即能用艺术作品风格重绘照片的算法）的核心挑战。我对这些术语的界定以及风格迁移算法本身的设计，构成本论文的重点。我将首先提出基于最优传输与自相似性的风格与内容新定义，并展示基于这些定义的风格迁移算法如何生成视觉质量更优的输出。接着，我将描述如何通过将关键点引导的形变场与风格化输出的像素联合优化，将传统的基于纹理的风格定义扩展至包含几何与比例元素。最后，我将描述一个受现代神经风格迁移算法与传统基于块的合成方法共同启发的框架，该框架快速、通用，并提供最先进的视觉质量。