基于对比学习的域增强任意图像风格迁移

本文中，我们利用一种新颖的风格特征表示学习方法来解决任意图像风格迁移这一具有挑战性的问题。合适的风格表示作为图像风格化任务的关键组件，对于获得满意结果至关重要。现有的基于深度神经网络的方法在内容特征二阶统计量（如 Gram 矩阵）的引导下取得了合理的结果。然而，它们未能充分利用风格信息，导致局部畸变与风格不一致等伪影。为解决这些问题，我们提出直接基于图像特征而非其二阶统计量来学习风格表示，通过分析多种风格间的异同并考虑风格分布。具体而言，我们提出对比任意风格迁移（CAST），一种通过对比学习进行风格表示学习与风格迁移的新方法。我们的框架由三个关键组件构成：用于风格编码的多层风格投影器、用于有效学习风格分布的域增强模块，以及用于图像风格迁移的生成网络。我们进行了全面的定性与定量评估，表明相较最先进（state-of-the-art）方法，我们的方法取得了显著更优的结果。代码与模型见 https://github.com/zyxElsa/CAST_pytorch。