通过分组 FIR 滤波和注意力汇机制增强结构化状态空间模型
计算与语言
2024-08-02 v1 机器学习
摘要
结构化状态空间模型（SSM）已成为 Transformer 架构的有力替代方案，在各种序列建模任务中提供了线性时间复杂度和优越的性能。尽管 SSM 具有诸多优势，但原始的 Mamba-2 等模型由于一系列扩展的矩阵乘法所引入的敏感性，面临着训练困难。在本文中，我们提出了一种先进的架构，通过将 A 乘法分解为多个组，并通过分组有限脉冲响应（FIR）滤波优化位置编码，来缓解这些挑战。这种新结构被称为分组 FIR 增强 SSM（GFSSM），利用半可分矩阵进行高效计算。此外，受流式语言模型中发现的“注意力汇”现象的启发，我们引入了一种类似机制，以增强模型在扩展序列上的稳定性和性能。我们的工作进一步弥合了 SSM 与 Transformer 架构之间的差距，为高性能序列建模提供了一条可行之路。
关键词
引用
@article{arxiv.2408.00244,
title = {Enhanced Structured State Space Models via Grouped FIR Filtering and Attention Sink Mechanisms},
author = {Tian Meng and Yang Tao and Wuliang Yin},
journal= {arXiv preprint arXiv:2408.00244},
year = {2024}
}