HAM：基于异构注意力调制的无训练风格迁移方法

扩散模型在图像生成领域尤其是在风格迁移领域展现出显著性能。现有风格迁移方法通常利用预训练扩散模型的强大特征提取能力，结合外部模块化控制路径，显式施加风格指导信号。然而，这些方法往往难以捕获复杂的风格参考，或难以保留用户提供内容图像的身份信息，从而陷入风格-内容平衡的困境。因此，我们提出一种基于 $\textbf{h}eterogeneous$\textbf{a}ttention $\textbf{m}odulation (\textbf{HAM})$ 的无训练风格迁移方法，通过异构注意力调制来保护身份信息，实现图像/文本引导的风格参考转换，从而解决风格-内容平衡问题。具体而言，我们首先引入风格噪声初始化，对扩散的初始噪声进行初始化。随后，在扩散过程中，创新性地运用 HAM 对不同注意力机制进行调制，包括全局注意力调节（GAR）和局部注意力移植（LAT），以更好地保留内容图像的细节，同时捕获复杂的风格参考。我们的方法通过一系列定性和定量实验进行验证，在多个定量指标上实现了最先进的性能。