MambaLRP：解释选择性状态空间序列模型
机器学习
2025-01-16 v3 人工智能
机器学习
摘要
最近的序列建模方法使用称为 Mamba 的选择性状态空间序列模型，引起广泛关注。这些模型以线性时间高效处理长序列，正在被广泛采用于语言建模等众多应用，显示出承诺。为了促进其在现实场景中的可靠应用，提高透明度至关重要。我们的工作在这一关键性空白中发挥作用，通过引入特别是基于相关守恒原理的图层相关性传播 (LRP)，为 Mamba 架构提供可解释性。我们识别出 Mamba 架构中导致不可靠解释的特定组件。为解决此问题，我们提出了 MambaLRP，这是一种在 LRP 框架内的新算法，确保通过这些组件实现更稳定可靠的相关性传播。我们的方法在理论上是严谨的，在多样化的模型和数据集上实现了最先进的解释性能。此外，MambaLRP 促进对 Mamba 架构的深入检查，揭示了各种偏见并评估了其重要性。它还使我们能够分析关于 Mamba 模型远程能力的先前猜测。
引用
@article{arxiv.2406.07592,
title = {MambaLRP: Explaining Selective State Space Sequence Models},
author = {Farnoush Rezaei Jafari and Grégoire Montavon and Klaus-Robert Müller and Oliver Eberle},
journal= {arXiv preprint arXiv:2406.07592},
year = {2025}
}