ArtCrafter：通过嵌入重构实现文本-图像对齐风格迁移

近年来，文本引导风格迁移取得了显著进展，主要归功于扩散模型的创新。这些模型在条件引导方面表现出色，利用文本或图像来指导采样过程。然而，尽管具有这些能力，直接条件引导方法常常面临在保持文本语义表达性与输出结果多样性之间以及捕获风格特征的平衡挑战。为此，我们引入 ArtCrafter，一种用于文本到图像风格迁移的新型框架。具体而言，我们引入基于注意力的风格提取模块，精心设计以捕获图像中细微的风格元素。该模块具有多层架构，利用感知注意力机制的能力整合细粒度信息。此外，我们提出一种新型文本-图像对齐数据增强组件，巧妙地平衡了两种模态的控制，使模型能够高效地将图像和文本嵌入映射到共享特征空间。我们通过注意力操作实现了模态之间顺畅的信息流。最后，我们包含一种显式调制，将多模态增强嵌入与原始嵌入无缝地通过一种嵌入重构设计进行融合，使模型能够生成多样化的输出。广泛的实验表明，ArtCrafter 在视觉风格化方面取得了令人印象深刻的结果，展现了卓越的风格强度、可控性和多样性。