Z-STAR+：通过调整风格分布实现零样例风格迁移方法

风格迁移是一个重要挑战，主要集中在确定合适的风格表示。常用方法采用风格损失，从二阶统计或对比学习中派生，用于约束风格化结果中的风格表示。然而，这些预定义的风格表示常常限制风格表达，导致引入人工。与现有方法不同，我们发现基础扩散模型中的潜在特征本就包含自然的风格和内容分布。这使得可以直接提取风格信息，并无需重新训练即可将生成先验无缝集成到内容图像中。我们的方法采用双去噪路径分别表示内容和风格参考，随后利用风格潜在代码引导内容图像的去噪过程。我们引入一个 Cross-attention 重加权模块，该模块利用局部内容特征查询最适合输入图像块的风格图像信息，从而将风格化结果的风格分布与风格图像的风格分布对齐。此外，我们设计了比例自适应实例归一化，以在全局尺度上缓解风格图像与风格化图像之间颜色分布的不一致性。通过理论分析和广泛的实验，我们展示了通过调整风格分布实现基于扩散的零样例风格迁移（称为 Z-STAR+）的有效性和优越性。