上下文选择性状态空间模型：反馈即一切
机器学习
2026-02-03 v2 人工智能
摘要
Transformer凭借注意力机制成为大多数基础模型的支柱，但它们存在二次复杂度以及处理输入序列中长程依赖的困难。最近的研究表明，状态空间模型（SSM）提供了一种有前景的替代方案。在本文中，我们介绍了COFFEE（来自反馈的上下文）模型，这是一种新颖的时变SSM，它结合了状态反馈以实现上下文相关的选择性，同时仍允许并行实现。这一思想使模型能够根据由内部状态描述的上下文来调节其动态，该内部状态体现了输入历史的紧凑表示。状态反馈使COFFEE能够提高其捕获长程依赖的能力：在归纳头任务上，与S6（Mamba的SSM）相比，它用少两个数量级的参数和训练序列就达到了近乎完美的准确率。在MNIST上，COFFEE在相同架构内大幅优于S6，仅用3585个参数就达到了97%的准确率。这些结果展示了状态反馈作为构建可扩展高效序列模型的关键机制的作用。
引用
@article{arxiv.2510.14027,
title = {Context-Selective State Space Models: Feedback is All You Need},
author = {Riccardo Zattra and Giacomo Baggio and Umberto Casti and Augusto Ferrante and Francesco Ticozzi},
journal= {arXiv preprint arXiv:2510.14027},
year = {2026}
}