通过梯度与结构学习时延：脉冲神经网络中时空模式的涌现
神经与进化计算
2024-11-11 v2
摘要
我们提出了一种脉冲神经网络 (SNN) 模型，通过两种方法实现可学习的突触时延：一种是基于扩张卷积与可学习间隔 (DCLS) 的逐突触时延学习，另一种是一种动态修剪策略，同时也作为一种时延学习的方式。在后者方法中，网络动态选择并修剪连接，优化稀疏连接设置下的时延。我们在使用通过时间反向传播 (BPTT) 带 surrogate 梯度的 Raw Heidelberg 手写数字关键词识别基准测试中评估了两种方法。我们分析了突触相互作用的时空结构，发现训练后，兴奋性和抑制性在空间和时间上聚集在一起。值得注意的是，动态修剪方法采用 DEEP R 进行连接移除、RigL 进行重连，不仅保留了这些时空模式，而且在稀疏网络中超越了逐突触时延学习。我们的结果表明，将时延学习与动态修剪结合用于开发处理时序数据的高效 SNN 模型具有潜力。此外，修剪和重连过程中时空动力学的保持凸显了这些特征的鲁棒性，为未来的神经形态计算应用奠定了坚实基础。
引用
@article{arxiv.2407.18917,
title = {Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks},
author = {Balázs Mészáros and James Knight and Thomas Nowotny},
journal= {arXiv preprint arXiv:2407.18917},
year = {2024}
}
备注
11 pages, 3 figures, submitted to Frontiers in Computational Neuroscience