迷失在状态空间：探究冻结 Mamba 表征
计算与语言
2026-05-04 v1 机器学习
摘要
Mamba 的循环状态 h_t 在构造上是对迄今为止所有 token 所做压缩总结。这引出一个tempting的假设：如果我们在固定 patch 边界提取 token 级别的输出 y_t，即可免费获得语义句子摘要，无需池化头、无需微调、无需 [CLS] token。我们仔细测试了这一假设。在五个基准（SST-2、CoLA、MRPC、STS-B、IMDb）上，我们在严格的冻结特征探测协议下，比较了从预训练 Mamba-130M 主干网络中提取冻结句子表征的四种策略，使用三组随机种子（在可行的情况下）。结果不支持该假设：patch 边界读出不一致地优于简单均值池化。我们识别并量化了两种结构病理：严重的各向异性（均两两余弦相似度 0.9999，标准差 0.000044）和原始最终 SSM 状态中的表征坍缩（在 CoLA 上 MCC = 0.000，穿过三组随机种子确认）。我们进一步提出正交注入，这是一种修改循环机制，以约束每个新信息。
引用
@article{arxiv.2605.00253,
title = {Lost in State Space: Probing Frozen Mamba Representations},
author = {Bhagyashree Wagh and Akash Singh},
journal= {arXiv preprint arXiv:2605.00253},
year = {2026}
}
备注
8 pages, 2 figures