面向可泛化风格迁移的统一框架：风格与内容分离

图像风格迁移近年来引起了广泛关注。然而，大多数现有方法旨在显式建模不同风格之间的变换，因此学到的模型无法泛化到新风格。本文我们提出一个统一的风格迁移框架，用于字符字体迁移与神经风格迁移任务，利用风格与内容分离。该框架的一个关键优点是对新风格和内容的可泛化性。整体框架由风格编码器、内容编码器、混合器和解码器组成。风格编码器和内容编码器用于从相应的参考图像中提取风格与内容表示。混合器整合上述两种表示并输入解码器以生成具有目标风格与内容的图像。在训练期间，编码器网络学习从有限大小的风格/内容参考图像中提取风格与内容。该学习框架允许在多风格间同时迁移，并可视为一种特殊的“多任务”学习场景。编码器有望捕捉不同风格与内容的底层特征，从而可泛化到新风格与内容。在此框架下，我们分别设计了用于字符字体迁移和神经风格迁移的两个独立网络。对于字符字体迁移，为分离风格特征与内容特征，我们利用给定图像下风格与内容的条件依赖性。对于神经风格迁移，我们利用特定层中特征图的统计信息来表示风格。大量实验结果证明了所提方法的有效性与鲁棒性。