中文

EchoSpike预测可塑性:一种用于脉冲神经网络的在线局部学习规则

神经与进化计算 2024-05-28 v2 机器学习

摘要

开发高效利用资源的人工神经网络的动力激发了人们对生物启发的脉冲神经网络的浓厚兴趣。这些网络因其在低功耗和低内存应用中的潜力而特别有吸引力。这种潜力通过执行在线局部学习的能力进一步增强,使其能够适应动态环境。这要求模型以自监督的方式自适应。虽然自监督学习在许多深度学习领域取得了巨大成功,但其在多层级脉冲神经网络中用于在线局部学习的应用仍未得到充分探索。在本文中,我们介绍了“EchoSpike预测可塑性”学习规则,这是一种开创性的在线局部学习规则,旨在通过预测编码和对比编码利用脉冲神经网络中的分层时间动态。我们使用基准数据集验证了该方法的有效性,表明其性能与当前最先进的监督学习规则相当。ESPP的时间和空间局部性使其特别适用于低成本的神经形态处理器,代表了在边缘神经形态计算中开发生物合理的自监督学习模型的重大进展。

关键词

引用

@article{arxiv.2405.13976,
  title  = {EchoSpike Predictive Plasticity: An Online Local Learning Rule for Spiking Neural Networks},
  author = {Lars Graf and Zhe Su and Giacomo Indiveri},
  journal= {arXiv preprint arXiv:2405.13976},
  year   = {2024}
}

备注

11 pages, 6 figures, submitted to IEEE