WavSpA：用于提升Transformer长序列学习能力的小波空间注意力
计算与语言
2023-05-24 v3 机器学习
摘要
Transformer及其变体是深度学习中的基础神经架构。近期工作表明，在傅里叶空间学习注意力可改善Transformer的长序列学习能力。我们认为小波变换应是更好的选择，因为它以线性时间复杂度捕获位置与频率信息。因此，本文系统性地研究了小波变换与Transformer之间的协同作用。我们提出小波空间注意力（WavSpA），其在可学习的小波系数空间中促进注意力学习，通过以下方式替换Transformer中的注意力：（1）应用正向小波变换将输入序列投影到多分辨率基，（2）在小波系数空间中进行注意力学习，（3）通过反向小波变换在输入空间中重建表示。在Long Range Arena上的大量实验表明，使用固定或自适应小波在小波空间学习注意力能持续提升Transformer性能，并显著优于在傅里叶空间学习。我们进一步展示，我们的方法能增强Transformer在LEGO链式推理任务上关于距离的推理外推能力。
引用
@article{arxiv.2210.01989,
title = {WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability},
author = {Yufan Zhuang and Zihan Wang and Fangbo Tao and Jingbo Shang},
journal= {arXiv preprint arXiv:2210.01989},
year = {2023}
}