动力学相似性分析可以识别循环神经网络中发展的组合动力学

分析神经系统中表征的方法已成为神经科学和机制可解释性中广受欢迎的工具。拥有衡量不同条件、架构和物种间神经元激活相似性的方法，为我们提供了了解信息如何在不同神经网络中转换的可扩展方式。与这一趋势相反，最近的研究揭示了一些度量如何对虚假信号做出响应，从而给出误导性结果。为了识别最可靠的度量并了解如何改进度量，识别可以用作基准的特定测试案例将变得重要。在这里，我们提出循环神经网络（RNN）中的组合学习现象允许我们为动力学表征对齐度量构建一个测试案例。通过实现该案例，我们证明它使我们能够测试度量是否能识别在整个学习过程中逐渐发展的表征，并探测度量识别的表征是否与网络执行的计算相关。通过构建基于吸引子和基于 RNN 的测试案例，我们证明新的动力学相似性分析（DSA）比先验度量（Procrustes、CKA）更抗噪声且更可靠地识别行为相关的表征。我们还展示了测试案例如何超越度量评估用于研究新架构。具体而言，将 DSA 应用于现代 Mamba 状态空间模型的结果表明，与 RNN 不同，这些模型可能由于其表达能力而不会表现出其循环动力学的变化。总体而言，通过开发测试案例，我们展示了 DSA 在检测组合动力学模体方面的卓越能力，从而增强了我们对循环神经网络中计算如何展开的理解。