S$^3$Attention：通过平滑骨架素描改进长序列注意力机制
机器学习
2024-09-18 v3 计算机视觉与模式识别
图像与视频处理
机器学习
摘要
基于注意力机制的模型在众多应用中取得了许多显著的突破。然而，Attention的二次复杂度使得基础的Attention模型难以应用于长序列任务。各种改进的Attention结构被提出，通过引入低秩性和用子序列近似整个序列来降低计算成本。这些方法中最具挑战的部分是在信息保留和计算缩减之间保持适当的平衡：使用的子序列越长，信息保留越好，但代价是引入更多噪声和计算成本。本文提出了一种基于平滑骨架素描的Attention结构，命名为SAttention，它在协商这一权衡方面显著改进了之前的尝试。SAttention具有两种机制，可在保持序列长度线性复杂度的同时有效最小化噪声的影响：一个平滑块用于混合长序列中的信息，以及一种矩阵素描方法，可同时从输入矩阵中选择列和行。我们从理论和实证两个角度验证了SAttention的有效性。在Long Range Arena（LRA）数据集和六项时间序列预测上的广泛研究表明，SAttention显著优于基础Attention和其他最先进的Attention结构变体。
引用
@article{arxiv.2408.08567,
title = {S$^3$Attention: Improving Long Sequence Attention with Smoothed Skeleton Sketching},
author = {Xue Wang and Tian Zhou and Jianqing Zhu and Jialin Liu and Kun Yuan and Tao Yao and Wotao Yin and Rong Jin and HanQin Cai},
journal= {arXiv preprint arXiv:2408.08567},
year = {2024}
}