从“什么”到“何时”——一种预测稀有事件及其发生时间的脉冲神经网络
神经与进化计算
2023-11-10 v1
摘要
在强化学习（RL）任务中，预测在近期或较远期未来获得奖励的能力意味着将当前状态评估为更接近或更远离目标状态（由奖励信号标记）的能力。本工作中，我们利用脉冲神经网络（SNN）预测至下一目标事件（RL中的奖励）的时间。在SNN语境下，事件表示为网络神经元或输入节点发出的脉冲。假定目标事件由特殊网络输入节点发出的脉冲指示。利用其他输入节点以脉冲形式编码的当前状态描述，网络应预测下一目标事件的近似时间。本研究论文提出一种由泄漏积分发放（LIF）神经元组成的SNN学习相应预测模型的新方法。所提方法利用专门设计的局部突触可塑性规则与一种新颖的列分层SNN架构。与我们先前工作类似，本研究强烈强调所提模型的硬件友好性，确保其在现代与未来神经处理器上的高效实现。所提方法在RL基准ATARI游戏乒乓球的简单奖励预测任务上测试。结果表明，本文所述SNN相较决策树算法与卷积神经网络等精确机器学习技术具有更优预测精度。
引用
@article{arxiv.2311.05210,
title = {From "What" to "When" -- a Spiking Neural Network Predicting Rare Events and Time to their Occurrence},
author = {Mikhail Kiselev},
journal= {arXiv preprint arXiv:2311.05210},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2309.08476