通过对比学习桥接文本与图像实现艺术家风格迁移

图像风格迁移在过去几年中吸引了广泛关注。尽管其取得了显著的效果，但需要额外的风格图像作为参考，使其不够灵活且不便于使用。使用文本描述风格是最自然的方式。更重要的是，文本可以描述隐式抽象的风格，如特定艺术家或艺术运动的风格。本文提出了一种用于艺术风格迁移的对比学习方法（CLAST），该方法利用先进的图像-文本编码器来控制任意风格迁移。我们引入一种监督对比训练策略，有效地从图像-文本模型（即CLIP）中提取风格描述，从而将风格化与文本描述对齐。为此，我们还提出了一种新颖且高效的基于adaLN的状态空间模型，以探索风格-内容融合。最终，我们实现了文本驱动的图像风格迁移。大量实验表明，我们的方法在艺术风格迁移方面优于当前最先进的方法。更重要的是，它不需要在线微调，能够在0.03秒内渲染512x512的图像。