作为大词汇量连续语音识别编码器的替代梯度脉冲神经网络
计算与语言
2023-02-17 v2 机器学习
神经与进化计算
声音
音频与语音处理
摘要
与产生稠密实值响应的传统人工神经元相比，受生物启发的脉冲神经元传输稀疏二值信息，这也能带来高能效的实现。近期研究表明，脉冲神经网络可使用替代梯度方法像标准循环神经网络一样训练。它们在语音命令识别任务上已展现出有前景的结果。使用相同技术，我们表明它们可扩展至大词汇量连续语音识别，能够替换编码器中的 LSTM 且仅造成轻微性能损失。这表明它们可能适用于更复杂的序列到序列任务。此外，与其循环非脉冲对应物不同，它们对梯度爆炸问题表现出鲁棒性，且无需使用门控。
引用
@article{arxiv.2212.01187,
title = {Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition},
author = {Alexandre Bittar and Philip N. Garner},
journal= {arXiv preprint arXiv:2212.01187},
year = {2023}
}