非人灵长类在试错问题解决任务中工作记忆与强化学习的自适应协调
人工智能
2019-04-30 v1 神经元与认知
摘要
越来越多的证据表明，人类在基于离散动作间决策的试错学习任务中的行为可能涉及强化学习(RL)与工作记忆(WM)的结合。尽管对此类任务中相关脑活动的理解常涉及与非人灵长类神经生理学结果的比较，但目前尚不清楚猴子是否使用类似的 RL 与 WM 结合过程来解决这些任务。在此，我们用结合 RL 和 WM 的计算模型分析了五只猴子的行为。我们基于模型的分析方法不仅能够拟合试次间的选择，还能拟合反应时间中的瞬时变慢，后者指示了 WM 的使用。我们发现，尽管存在个体差异，五只猴子的行为用 RL 与 WM 的结合能更好地解释。我们在先前人类研究中使用的相同协调动力学最能解释部分猴子的行为，而其他猴子的行为则表现出相反的模式，揭示了 WM 过程可能存在不同的动力学。我们进一步分析了所测试模型的不同变体，以探讨这些任务中较长的预训练如何有利于 RL 与 WM 之间特定的协调动力学。这指向了种间差异或协议差异，并可在人类中进一步检验。
引用
@article{arxiv.1711.00698,
title = {Adaptive coordination of working-memory and reinforcement learning in non-human primates performing a trial-and-error problem solving task},
author = {Guillaume Viejo and Benoît Girard and Emmanuel Procyk and Mehdi Khamassi},
journal= {arXiv preprint arXiv:1711.00698},
year = {2019}
}
备注
Behavioural Brain Research, Elsevier, 2017