循环神经网络工作记忆模型中自然主义对象表示的几何结构
人工智能
2024-11-06 v1 计算几何
机器学习
神经元与认知
摘要
工作记忆是智能决策中至关重要的核心认知能力。近期研究工作记忆的实验和计算工作主要使用类别化（即 one-hot）输入，而非生态相关的、多维的自然主义输入。此外，研究主要在单个或少数认知任务中调查工作记忆。因此，对神经网络中自然主义对象信息如何在工作记忆中维持的理解仍然缺乏。为了弥补这一差距，我们开发了感官-认知模型，该模型由卷积神经网络（CNN）与循环神经网络（RNN）耦合而成，并在九种不同的 N-back 任务上使用自然主义刺激进行训练。通过检查 RNN 的潜在空间，我们发现：（1）多任务 RNN 在执行任务时同时表示任务相关和无关信息；（2）在 vanilla RNN 中用于维持特定对象属性的潜在子空间在很大程度上跨任务共享，但在门控 RNN（如 GRU 和 LSTM）中则高度任务特定；（3）令人惊讶的是，RNN 将对象嵌入到新的表示空间中，其中各个对象特征相对于感知空间的正交性较低；（4）工作记忆编码的转换（即视觉输入在 RNN 潜在空间中的嵌入）转化为记忆的过程跨刺激是共享的，然而在面对传入干扰刺激时维持记忆的转换在时间上是不同的。我们的发现表明，目标驱动的 RNN 利用时间记忆子空间在短时间跨度内追踪信息，从而能够用神经数据进行可检验的预测。
引用
@article{arxiv.2411.02685,
title = {Geometry of naturalistic object representations in recurrent neural network models of working memory},
author = {Xiaoxuan Lei and Takuya Ito and Pouya Bashivan},
journal= {arXiv preprint arXiv:2411.02685},
year = {2024}
}