用于目标导向与习惯性选择的海马-纹状体回路

目前人们普遍认为，海马体的作用之一是维持情景空间表征，而平行的纹状体通路通过编码不同的特定输入结果预测，对陈述性和程序性价值计算均有贡献。在本文中，我们研究了将这些大脑机制用于动作选择，并将它们与用于决策的基于模型和无模型控制器联系起来。为此，我们提出了一个受生物学启发的计算模型，该模型体现了这些理论，并解释了在大鼠导航任务中海马-纹状体回路的功能。其主要特征是允许习惯性和目标导向行为的协作，其中海马体主要参与编码空间信息和模拟可能的导航路径，而腹侧和背侧纹状体分别参与学习刺激-反应行为以及评估与预测位置和感知刺激相关的奖励期望。我们提出的架构对海马-纹状体网络采用无监督强化学习规则，能够构建一种环境表征，其中奖励位点和信息性地标产生用于规划和决策的价值梯度。此外，它利用一种仲裁机制，基于纹状体神经元反应的强度和变异性，在利用（即刺激-反应行为）和心理探索（即运动表象过程）之间取得平衡。我们根据最近显示海马体和纹状体区域存在预期激活的实验数据来解释这些结果。