在采用首脉冲时间编码的脉冲神经网络中重新思考跳跃连接
信号处理
2023-12-05 v1
摘要
脉冲神经网络（SNN）中的首脉冲时间（TTFS）编码在能效方面具有显著优势，能够紧密模拟生物神经元的行为。在本工作中，我们深入探讨了跳跃连接这一在人工神经网络（ANN）中被广泛使用的概念在采用 TTFS 编码的 SNN 领域中的作用。我们的重点关注两种不同类型的跳跃连接架构：（1）基于加法的跳跃连接，以及（2）基于拼接的跳跃连接。我们发现，基于加法的跳跃连接会在脉冲时序方面引入额外的延迟。另一方面，基于拼接的跳跃连接虽然规避了这一延迟，但会在卷积路径与跳跃连接路径之间产生时间间隙，从而限制这两条路径信息的有效混合。为了缓解这些问题，我们提出了一种新颖的方法，在基于拼接的跳跃连接架构中为跳跃连接引入可学习的延迟。该方法成功弥合了卷积分支与跳跃分支之间的时间间隙，促进了更好的信息混合。我们在 MNIST 和 Fashion-MNIST 等公开数据集上进行了实验，展示了跳跃连接在 TTFS 编码架构中的优势。此外，我们还证明了 TTFS 编码在图像识别任务之外的适用性，并将其扩展到科学机器学习任务，从而拓宽了 SNN 的潜在应用范围。
引用
@article{arxiv.2312.00919,
title = {Rethinking Skip Connections in Spiking Neural Networks with Time-To-First-Spike Coding},
author = {Youngeun Kim and Adar Kahana and Ruokai Yin and Yuhang Li and Panos Stinis and George Em Karniadakis and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2312.00919},
year = {2023}
}