用于强化学习的海马反向重放机器人模型

海马反向重放被认为有助于动物的学习，尤其是强化学习。我们提出一个海马学习的计算模型，该模型建立在先前将海马-纹状体网络视为实现三因子强化学习规则的海马-纹状体网络模型之上。为用海马反向重放增强此模型，我们推导出一种新颖的策略梯度学习规则，将位置细胞活动与代表动作的细胞的响应相关联。该新模型使用受 Morris 水迷宫启发的模拟机器人空间导航任务进行评估。结果表明，反向重放可加速从强化中学习，同时在多次试验中提高稳定性与鲁棒性。正如神经生物学数据所暗示，我们的研究表明反向重放可对强化学习做出显著的积极贡献，尽管在其缺失时也可能发生效率较低且不太稳定的学习。我们得出结论：反向重放可能增强哺乳动物海马-纹状体系统中的强化学习，而非提供其核心机制。