状态空间模型与Transformer架构中上下文表示流的比较分析
计算与语言
2026-01-08 v2 机器学习
摘要
状态空间模型(SSMs)最近作为处理长序列的高效替代方案出现，具有线性规模，但如何在这些架构中跨层级传播上下文信息仍未得到充分研究。我们提供了对SSMs和TBMs中表示传播的首个统一、基于token和层级的分析。利用中心化核对齐、方差基指标和探测技术，我们描述了表示在层内及跨层级中的演化方式。我们发现一个关键差异：TBMs会迅速同质化token表示，只有在后期层级才重新出现多样性，而SSMs则在早期保持token的唯一性，但在更深层次趋于同质化。理论分析和参数随机化进一步揭示，TBMs中的过度平滑源于架构设计，而在SSMs中，则主要源于训练动力学。这些见解阐明了两种架构的归纳偏好，并为面向长上下文推理的未来模型和训练设计提供指导。
引用
@article{arxiv.2510.06640,
title = {A Comparative Analysis of Contextual Representation Flow in State-Space and Transformer Architectures},
author = {Nhat M. Hoang and Do Xuan Long and Cong-Duy Nguyen and Min-Yen Kan and Luu Anh Tuan},
journal= {arXiv preprint arXiv:2510.06640},
year = {2026}
}