面向生物可信的循环脉冲网络梦境与规划
机器学习
2023-06-09 v3 神经元与认知
摘要
人类与动物在练习几小时后即可学习新技能,而当前强化学习算法需大量数据方能取得良好表现。近期基于模型的方法通过减少与环境交互的必要次数来学习期望策略,展现出有前景的结果。然而,这些方法需要生物学上不可信的成分,例如对旧经验的详细存储,以及长时间的离线学习。学习与利用世界模型的最优方式仍属开放问题。受生物学启发,我们提出梦境可能是利用内部模型的一种高效权宜之计。我们提出一种双模块(智能体与世界模型)脉冲神经网络,其中“梦境”(在基于模型的模拟环境中经历新经验)显著促进学习。我们也探索“规划”——一种在线的梦境替代方案,展现出可比性能。重要的是,我们的模型不需要对经验的详细存储,并在线学习世界模型与策略。此外,我们强调网络由脉冲神经元组成,进一步提升了生物可信度及在神经形态硬件上的可实现性。
引用
@article{arxiv.2205.10044,
title = {Towards biologically plausible Dreaming and Planning in recurrent spiking networks},
author = {Cristiano Capone and Pier Stanislao Paolucci},
journal= {arXiv preprint arXiv:2205.10044},
year = {2023}
}