中文

注意力频率调制:扩散跨注意力的训练-free 谱调制

计算机视觉与模式识别 2026-03-31 v1 机器学习

摘要

跨注意力是文本条件潜在扩散模型的主要接口,然而其 step-wise 多分辨率动力学仍未得到充分阐述,这限制了原则性训练-free 控制。我们将扩散跨注意力视为潜在网格上的时空信号,通过将 token-softmax 权重总结为无token 的浓度图,并跟踪其径向分箱 Fourier 功率随去噪过程的变化。跨注意力在不同提示和随机种子下表现出一致的粗到细谱序列,形成 token 竞争的稳定时频指纹。基于此结构,我们引入注意力频率调制 (Attention Frequency Modulation, AFM),一种即插即用的数据集时干预,通过编辑 Fourier 域中的 token 级 pre-softmax 跨注意力 logits:低频和高频带按进度对齐的 schedule 进行重新加权,可通过 token 分配熵进行自适应门控,随后再经 softmax。AFM 提供了一种连续手段,用于在无需重新训练、提示编辑或参数更新的情况下偏向 token 竞争模式的空间尺度。实验在 Stable Diffusion 上表明,AFM 可靠地重新分配注意力谱并产生显著视觉编辑,同时基本保持语义对齐。最后,我们发现熵主要作为同一频率基础编辑的自适应增益,而非独立的控制轴。

关键词

引用

@article{arxiv.2603.28114,
  title  = {Attention Frequency Modulation: Training-Free Spectral Modulation of Diffusion Cross-Attention},
  author = {Seunghun Oh and Unsang Park},
  journal= {arXiv preprint arXiv:2603.28114},
  year   = {2026}
}

备注

16 pages; preprint