Master：用于可控零样本与少样本艺术风格迁移的元风格 Transformer

基于 Transformer 的模型近期凭借其全局感受野与强大的多头/多层注意力操作在艺术风格迁移中取得了优异性能。然而，过度参数化的多层结构显著增加了参数量，从而带来沉重的训练负担。此外，对于风格迁移任务，通过残差连接融合内容与风格特征的朴素 Transformer 容易出现内容层面的失真。本文中，我们设计了一种专为风格迁移命名的新型 Transformer 模型 \emph{Master}。一方面，在所提模型中，不同 Transformer 层共享同一组参数，这（1）减少了参数量总数，（2）带来更鲁棒的训练收敛，且（3）便于在推理时通过自由调整堆叠层数来控制风格化程度。另一方面，不同于朴素版本，我们在内容与风格特征交互前对内容特征采用可学习的缩放操作，从而在保证风格化质量的同时更好地保留一对内容特征间的原始相似性。我们还为所提模型提出了一种新颖的元学习方案，使其不仅可工作于任意风格迁移的典型设定，还能通过仅在少样本阶段针对某一特定风格微调 Transformer 编码器层来适应少样本设定。文本引导的少样本风格迁移首次通过所提框架实现。大量实验证明了 Master 在零样本与少样本风格迁移设定下的优越性。