基于在线强化学习的具身突触可塑性
神经与进化计算
2020-03-04 v1 人工智能
机器学习
机器人学
摘要
理解大脑的努力涉及多个协作的研究领域。经典地，由理论神经科学家推导的突触可塑性规则在模式分类任务上被孤立地评估。这与生物大脑的目的形成对比，后者是以闭环方式控制身体。本文通过整合这两个领域的开源软件组件，为拉近计算神经科学与机器人学领域做出贡献。由此产生的框架允许在闭环机器人环境中评估生物合理可塑性模型的有效性。我们演示了该框架，以在两个视觉运动任务（到达和车道跟随）上评估基于突触采样的奖励学习规则——带在线强化学习的突触可塑性（SPORE）。我们表明，SPORE 能够在模拟的若干小时内学会执行两个任务的策略。初步的参数探索表明，驱动支配突触学习动力学的随机过程的学习率和温度需要被调节以保留性能改进。我们通过讨论最近的深度强化学习技术作为结论，这些技术有益于增加 SPORE 在视觉运动任务上的功能性。
引用
@article{arxiv.2003.01431,
title = {Embodied Synaptic Plasticity with Online Reinforcement learning},
author = {Jacques Kaiser and Michael Hoff and Andreas Konle and J. Camilo Vasquez Tieck and David Kappel and Daniel Reichard and Anand Subramoney and Robert Legenstein and Arne Roennau and Wolfgang Maass and Rudiger Dillmann},
journal= {arXiv preprint arXiv:2003.01431},
year = {2020}
}
备注
18 pages, 5 figures, published in frontiers in neurorobotics