基于状态空间模型的语言模型可控性分析
机器学习
2025-11-25 v1
摘要
状态空间模型 (SSM)，尤其是 Mamba，已成为序列建模的强大架构，但其内部动力学相较于注意力类模型仍鲜有了解。我们引入并验证了 Influence Score，这是一种基于 Mamba 离散化状态空间参数的可控性度量，通过类似系统可观测性的反向递推计算得出。该分数量化了位置为 k 的 token 对后续所有状态和输出的影响强度。我们在三个 Mamba 变体：mamba-130m、mamba-2.8b 和 mamba-2.8b-slimpj 上进行评估，使用六项实验测试其对温度、提示复杂度、token 类型、层深度、token 位置和输入扰动的敏感性。结果显示三个主要发现：(1) Influence Score 随模型规模和训练数据量增加，反映模型容量；(2) Mamba 具有一致的架构模式，包括近期偏好和中间到后期层次中影响力的集中；(3) 只有在规模化后才出现显现行为，mamba-2.8b-slimpj 在噪声存在时唯一优先考虑内容词并降低内部影响力。这为解释和比较基于 SSM 的语言模型提供了实用的诊断工具。
引用
@article{arxiv.2511.17970,
title = {Controllability Analysis of State Space-based Language Model},
author = {Mohamed Mabrok and Yalda Zafari},
journal= {arXiv preprint arXiv:2511.17970},
year = {2025}
}