通过自适应对比学习实现的统一任意风格迁移框架

我们提出统一对比任意风格迁移（UCAST），一种新颖的风格表示学习与迁移框架，可适配大多数现有的任意图像风格迁移模型，例如基于 CNN、基于 ViT 和基于流的方法。作为图像风格迁移任务中的关键组件，合适的风格表示对于获得满意结果至关重要。基于深度神经网络的现有方法通常使用二阶统计量来生成输出。然而，从单幅图像计算出的这些手工特征无法充分利用风格信息，从而导致局部畸变和风格不一致等伪影。为解决这些问题，我们提出基于对比学习直接从大量图像中学习风格表示，同时考虑特定风格与整体风格分布之间的关系。具体而言，我们通过引入输入依赖的温度，提出一种用于风格迁移的自适应对比学习方案。我们的框架由三个关键组件组成，即用于风格表示与风格迁移的并行对比学习方案、用于有效学习风格分布的域增强模块，以及用于风格迁移的生成网络。我们进行了定性与定量评估，表明我们的方法比最先进方法所得结果更优。