超越自注意力：一种具有多模态融合的次二次傅里叶小波 Transformer
计算与语言
2025-04-24 v2 机器学习
摘要
我们重新审视利用谱技术通过基于傅里叶变换的 token 混合来替代 Transformer 中注意力机制的用法，并针对下一代 transformer 模型给出该技术全面而新颖的重构。我们提供了扩展的文献背景、傅里叶混合与因果掩码的详细数学表述，并引入一种新颖的多域傅里叶小波注意力（MDFWA），其集成频率与时间局部化变换以高效捕获全局与局部依赖。我们推导了复杂度界、梯度公式，并表明 MDFWA 在提升表达能力的同时实现了次二次时间与内存开销。我们通过使用 PubMed 数据集的抽象摘要任务，以学习频率基、自适应尺度选择及多模态扩展增强所提方法，验证了我们的设计。
引用
@article{arxiv.2111.15473,
title = {Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion},
author = {Andrew Kiruluta and Andreas Lemos and Eric Lundy},
journal= {arXiv preprint arXiv:2111.15473},
year = {2025}
}
备注
7 pages, 4 figures, 5 tables