闭合神经网络模拟器与 OpenAI Gym 之间的回路
神经元与认知
2017-09-19 v1
摘要
随着过去十年机器学习的巨大突破，功能神经网络模型引起了越来越多计算神经科学研究者的兴趣。一个主要的研究分支关注强化学习的生物学合理实现，近年来发展出了多种不同的模型。然而，该领域的大多数研究使用自定义模拟脚本和手动实现的任务进行。这使得其他研究者难以复现并基于先前工作展开研究，且几乎无法比较不同学习架构的性能。在本工作中，我们提出了一种解决该问题的新方法，将机器学习领域的基准测试工具与计算神经科学领域最先进的神经网络模拟器连接起来。该工具链使两个领域的研究者能够利用经过充分测试的高性能模拟软件，这些软件支持生物学合理的神经元、突触和网络模型，并允许他们在不同复杂度的标准化环境基础上评估和比较其方法。我们通过在 NEST 模拟器中实现用于强化学习的神经元 actor-critic 架构，并在 OpenAI Gym 的两个不同环境中成功训练它，展示了该工具链的功能。
引用
@article{arxiv.1709.05650,
title = {Closing the loop between neural network simulators and the OpenAI Gym},
author = {Jakob Jordan and Philipp Weidel and Abigail Morrison},
journal= {arXiv preprint arXiv:1709.05650},
year = {2017}
}