绘画风格迁移的尺度扩展

神经风格迁移（NST）是一种深度学习技术，可产生从风格图像到内容图像前所未有的丰富风格迁移。当将绘画风格迁移到图像时尤其令人印象深刻。NST 最初通过求解一个优化问题来实现，以匹配风格图像的全局统计特征，同时保留内容图像的局部几何特征。这种原始方法的两个主要缺点是计算成本高，且输出图像分辨率受高 GPU 内存需求限制。已提出许多方案来加速 NST 并生成更大尺寸的图像。然而，我们的研究表明，这些加速方法在绘画风格迁移背景下均折损了生成图像的质量。事实上，迁移绘画风格是一项复杂任务，涉及不同尺度的特征，从色板和构图风格到精细笔触和画布纹理。本文提供了一种求解原始全局优化以处理超高分辨率（UHR）图像的方案，实现了前所未有的图像尺寸下的多尺度 NST。这是通过空间局部化 VGG 网络每次前向和后向传播的计算来实现的。广泛的定性和定量比较以及\textcolor{coverletter}{感知研究}表明，我们的方法为此类高分辨率绘画风格产生了无与伦比的迁移质量。通过仔细比较，我们表明最先进的快速方法仍易出现伪影，从而表明快速绘画风格迁移仍是一个开放问题。源代码见 https://github.com/bgalerne/scaling_painting_style_transfer。