用于揭示事实信息流的 Mamba Knockout 方法
计算与语言
2025-06-02 v1 机器学习
摘要
本文研究了基于 Mamba 状态空间模型（SSM）的语言模型中事实信息的流动。我们依赖于其与 Transformer 架构及其注意力机制之间的理论和经验联系。利用这一关系，我们将最初为 Transformer 开发的注意力可解释性技术——特别是注意力 Knockout 方法——适配到 Mamba-1 和 Mamba-2 中。利用这些方法，我们追踪了信息如何在 token 和层之间传输与定位，揭示了主语 token 信息涌现的模式及逐层动态。值得注意的是，某些现象在 Mamba 模型和基于 Transformer 的模型之间存在差异，而另一些现象在所有受检模型中普遍存在——暗示这些现象可能是 LLM 的固有特性。通过进一步利用 Mamba 的结构化因子分解，我们理清了不同的“特征”是如何实现 token 间的信息交换或丰富单个 token 的，从而为理解 Mamba 的内部操作提供了一个统一的视角。
引用
@article{arxiv.2505.24244,
title = {Mamba Knockout for Unraveling Factual Information Flow},
author = {Nir Endy and Idan Daniel Grosbard and Yuval Ran-Milo and Yonatan Slutzky and Itay Tshuva and Raja Giryes},
journal= {arXiv preprint arXiv:2505.24244},
year = {2025}
}
备注
Accepted to ACL 2025