用于循环神经网络机制解释的情景记忆理论
神经与进化计算
2023-10-05 v1 人工智能
机器学习
摘要
从机制上理解循环神经网络（RNNs）的复杂运算，对于提升其能力与应用至关重要。为此，我们提出情景记忆理论（EMT），阐明 RNNs 可被视为近期提出的通用序列情景记忆模型的离散时间类比。为证实 EMT，我们引入一组新颖的算法任务，专门用于探测 RNNs 中的变量绑定行为。利用 EMT，我们构建了一个数学上严谨的电路，以在这些任务中实现变量绑定。我们的实证研究表明，训练后的 RNNs 始终收敛于该变量绑定电路，从而表明 RNNs 动力学具有普遍性。基于这些发现，我们设计了一种算法来定义特权基（privileged basis），其揭示了在变量时间存储与组合中起关键作用的隐藏神经元，这一机制对于这些任务的成功泛化至关重要。我们展示了特权基增强了 RNNs 所学参数与隐藏状态的可解释性。我们的工作朝着揭开 RNNs 内部机制迈出了一步，并且对于计算神经科学而言，有助于弥合人工神经网络与神经记忆模型之间的鸿沟。
引用
@article{arxiv.2310.02430,
title = {Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks},
author = {Arjun Karuvally and Peter Delmastro and Hava T. Siegelmann},
journal= {arXiv preprint arXiv:2310.02430},
year = {2023}
}