GLStyleNet：融合全局与局部金字塔特征的高质量风格迁移
计算机视觉与模式识别
2018-11-20 v1 人工智能
摘要
近期使用深度神经网络的研究在风格迁移方面取得了显著成功，尤其针对艺术图像与照片级真实感图像。然而，使用全局特征相关性的方法难以捕捉细小、精细的纹理并维持画作正确的纹理尺度，而基于局部块的方法在全局效果上存在缺陷。本文提出一种新颖的特征金字塔融合神经网络，称为 GLStyleNet，它通过最优地聚合 VGG 网络各层，充分考虑多尺度、多层级金字塔特征，并以不同尺度的多重损失分层执行风格迁移。我们提出的方法从损失函数约束与特征融合两方面保留图像的高频像素信息与低频结构信息。我们的方法不仅可灵活调节内容与风格之间的权衡，也可在全局与局部间调控。相较于 SOTA 方法，我们的方法不仅能迁移大尺度、明显的风格线索，也能迁移微妙、精致的风格线索，并大幅提升了风格迁移的质量。我们在人像风格迁移、艺术风格迁移、照片级真实感风格迁移与中国古画风格迁移任务上展示了方法的有效性。实验结果表明，我们的统一方法在图像风格迁移质量上优于以往的 SOTA 方法，同时也在一定程度上加速了整个过程。我们的代码见 https://github.com/EndyWon/GLStyleNet。
引用
@article{arxiv.1811.07260,
title = {GLStyleNet: Higher Quality Style Transfer Combining Global and Local Pyramid Features},
author = {Zhizhong Wang and Lei Zhao and Wei Xing and Dongming Lu},
journal= {arXiv preprint arXiv:1811.07260},
year = {2018}
}