探究 Mamba 中的间接宾语识别电路
机器学习
2024-07-23 v2
摘要
当前可解释性技术将如何在未来模型中泛化是一个相关问题。Mamba 是一种近期出现的循环架构，规模相当于 Transformer。我们将前置的 Mamba 技巧适用于 Mamba，并部分逆向工程负责间接宾语识别（IOI）任务的电路。我们的技术为以下证据提供了支持：1）第 39 层是一个关键瓶颈；2）第 39 层的卷积将名称向前移动一个位置；3）名称实体在第 39 层的 SSM 中以线性方式存储。最后，我们采用位置边缘 Attribution Patching 适应的自动电路发现工具，识别 Mamba IOI 电路。我们的贡献为 Mamba 架构提供了电路基于的可解释性工具工作正常的初始证据。
引用
@article{arxiv.2407.14008,
title = {Investigating the Indirect Object Identification circuit in Mamba},
author = {Danielle Ensign and Adrià Garriga-Alonso},
journal= {arXiv preprint arXiv:2407.14008},
year = {2024}
}