基于上下文嵌入释放脉冲神经网络在序列建模中的潜力
神经与进化计算
2023-08-30 v1
摘要
人脑在整合时间上相距遥远的感官输入以进行决策方面表现出非凡的能力。然而，现有的受脑启发的脉冲神经网络（SNNs）在建模长期时间关系方面难以匹敌其生物对应物。为解决该问题，本文提出一种新颖的上下文嵌入漏积分发放（CE-LIF）脉冲神经元模型。具体而言，CE-LIF模型将精心设计的上下文嵌入组件纳入自适应神经元发放阈值中，从而增强脉冲神经元的记忆存储并促进有效的序列建模。此外，提供了理论分析以阐明CE-LIF模型如何实现长期时间信用分配。值得注意的是，与最先进（SOTA）的循环SNN相比，由所提CE-LIF神经元组成的前馈SNN在广泛的序列建模任务中，在分类准确率、网络收敛速度和记忆容量方面均展现出更优性能。
引用
@article{arxiv.2308.15150,
title = {Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding},
author = {Xinyi Chen and Jibin Wu and Huajin Tang and Qinyuan Ren and Kay Chen Tan},
journal= {arXiv preprint arXiv:2308.15150},
year = {2023}
}