针对长上下文 Dyadic 会话比较状态空间模型与变换器的计算与表示效率
机器学习
2026-01-06 v1 人工智能
摘要
状态空间模型（SSMs）作为变换器在长上下文序列建模方面的有前景的替代方案，提供了与变换器 量级计算复杂度相比的线性 计算复杂度。本文提出了全面基准测试研究，将 Mamba SSM 与 LLaMA 变换器在长上下文序列上进行比较，采用 Dyadic 治疗 session 作为代表性测试案例。我们在两个维度上评估两种架构：（1）计算效率，我们测量从 512 到 8,192 个标记的内存使用和推理速度；（2）表示效率，我们分析隐藏状态动力学和注意力模式。我们的发现为从事长上下文应用的实践者提供了可操作的见解，确立了 SSM 在何种条件下优于变换器的精确条件。
引用
@article{arxiv.2601.01237,
title = {Benchmarking the Computational and Representational Efficiency of State Space Models against Transformers on Long-Context Dyadic Sessions},
author = {Abidemi Koledoye and Chinemerem Unachukwu and Gold Nwobu and Hasin Rana},
journal= {arXiv preprint arXiv:2601.01237},
year = {2026}
}
备注
14 pages