SCSA：用于任意语义风格迁移的即插即用语义连续稀疏注意力

基于注意力的任意风格迁移方法，包括基于 CNN、基于 Transformer 和基于扩散模型的方法，已蓬勃发展并生成了高质量的风格化图像。然而，它们在内容图像和风格图像具有相同语义时表现不佳，即生成风格化图像中对应语义区域的风格与风格图像不一致。我们认为根本原因在于它们未能考虑局部区域与语义区域之间的关系。为了解决这一问题，我们提出了一种即插即用的语义连续稀疏注意力 SCSA，用于任意语义风格迁移——每个查询点关注对应语义区域中的某些关键特征点。具体而言，语义连续注意力确保每个查询点充分关注同一语义区域中反映该区域整体风格特征的所有连续关键特征点；语义稀疏注意力允许每个查询点聚焦于同一语义区域中最相似的稀疏关键特征点，该特征点展现出该区域特定的风格化纹理。通过结合这两个模块，所得到的 SCSA 在对齐对应语义区域整体风格的同时迁移了这些区域的生动纹理。定性和定量结果证明 SCSA 使基于注意力的任意风格迁移方法能够生成高质量的语义风格化图像。