基于脉冲的音频识别的门控参数神经元
机器学习
2024-12-03 v1
摘要
脉冲神经网络(SNN)旨在模拟人脑中生物可行的神经网络。洛特可积分发放神经元(LIF)是最受关注的SNN架构之一。然而,当使用反向传播训练时,它会出现梯度消失问题。此外,其神经元参数通常是手动指定且固定的,这与人脑中神经元的异质性相矛盾。本文提出一种门控参数神经元(GPN),通过门控机制有效处理时空信息。与LIF神经元相比,GPN有两个突出优势:1)通过改进梯度传播流程来处理梯度消失问题;2)自动学习时空异质神经元参数。此外,我们使用相同的门控结构消除初始神经元参数选择,并设计一种混合循环神经网络-SNN结构。在两个基于脉冲的音频数据集上进行实验,表明GPN网络在多个最先进SNN方面表现更好,能够缓解梯度消失,并且具有时空异质参数。我们的工作表明SNN能够同时处理长期依赖并实现高性能。
引用
@article{arxiv.2412.01087,
title = {Gated Parametric Neuron for Spike-based Audio Recognition},
author = {Haoran Wang and Herui Zhang and Siyang Li and Dongrui Wu},
journal= {arXiv preprint arXiv:2412.01087},
year = {2024}
}