一种用于时序差分学习的互补学习系统方法
神经元与认知
2019-05-08 v1 机器学习
神经与进化计算
摘要
互补学习系统（CLS）理论表明，大脑利用“新皮层”与“海马”两个学习系统来实现复杂行为。这两个系统互补之处在于：“新皮层”系统依赖分布式表示的慢速学习，而“海马”系统依赖模式分离表示的快速学习。这两个系统均投射至纹状体，其为大脑实现强化学习（RL）的关键神经结构。当前深度 RL 方法与“新皮层”系统有相似之处，因为它们通过深度神经网络（DNN）中的反向传播缓慢学习分布式表示。对此类方法的一个持续批评是它们数据效率低且缺乏灵活性。CLS 理论表明添加“海马”系统可解决这些批评。在本研究中，我们提出一种称为互补时序差分学习（CTDL）的新算法，其将 DNN 与自组织映射（SOM）结合，以获得“新皮层”与“海马”系统的双重益处。CTDL 的关键特征包括利用时序差分（TD）误差更新 SOM，以及结合 SOM 与 DNN 计算动作价值。我们在网格世界和 Cart-Pole 环境中评估 CTDL，并展示了相对于经典深度 Q 网络（DQN）方法的若干优势。这些结果证明了（1）互补学习系统用于动作评估的效用，（2）TD 误差信号是两系统间一种有用的通信形式，以及（3）所提方法的生物学合理性。
引用
@article{arxiv.1905.02636,
title = {A Complementary Learning Systems Approach to Temporal Difference Learning},
author = {Sam Blakeman and Denis Mareschal},
journal= {arXiv preprint arXiv:1905.02636},
year = {2019}
}