应用于语音指令识别的低活跃度监督卷积脉冲神经网络
机器学习
2020-11-16 v1 计算与语言
声音
音频与语音处理
摘要
深度神经网络（DNNs）是当前许多语音相关任务中最先进的模型。不过，人们对更具生物真实性、硬件友好且节能的模型——称为脉冲神经网络（SNNs）——的兴趣日益增长。最近研究表明，SNNs 可通过带替代梯度技巧的反向传播以监督方式高效训练。在本工作中，我们报道了使用监督 SNNs 的语音指令（SC）识别实验。我们针对该任务探索了漏积分发放（LIF）神经元模型，并表明由堆叠扩张卷积脉冲层组成的模型在 Google SC v1 数据集上可达到非常接近标准 DNNs 的错误率：5.5%，同时通过新的正则化项保持低于 5% 的极稀疏脉冲活动。我们还表明，对神经元膜电位泄漏进行建模是有用的，因为 LIF 模型显著优于其非泄漏对应模型。
引用
@article{arxiv.2011.06846,
title = {Low-activity supervised convolutional spiking neural networks applied to speech commands recognition},
author = {Thomas Pellegrini and Romain Zimmer and Timothée Masquelier},
journal= {arXiv preprint arXiv:2011.06846},
year = {2020}
}
备注
Accepted to IEEE Spoken Language Technology Workshop 2021