基于循环神经网络强化学习的动作层级与组合性的自组织
机器学习
2019-11-27 v6 机器学习
摘要
用于强化学习(RL)的循环神经网络(RNNs)已展现出明显优势,例如解决记忆依赖任务与元学习。然而,在改进 RNN 架构及理解性能提升的潜在神经机制方面甚少着力。本文提出一种新颖的、多时间尺度、随机 RNN 用于 RL。实证结果显示,该网络能自主学会抽象子目标,并可在一项具挑战的连续控制任务中利用内部动力学自发展出动作层级。进而,我们展示当适应一个由已学子目标重新组合而成的新任务时,网络自发展的组合性比从零开始学习实现更快的再学习。我们还发现,当神经活动服从随机而非确定性动力学时,可取得改进的性能。
引用
@article{arxiv.1901.10113,
title = {Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks},
author = {Dongqi Han and Kenji Doya and Jun Tani},
journal= {arXiv preprint arXiv:1901.10113},
year = {2019}
}