sVAD:基于脉冲神经网络的鲁棒低功耗轻量级语音活动检测
声音
2024-03-12 v1 神经与进化计算
音频与语音处理
摘要
语音应用需在噪声条件下保持低功耗与鲁棒性。有效的语音活动检测(VAD)前端可降低计算需求。脉冲神经网络(SNN)具有生物合理性与高能效。然而,基于SNN的VAD尚未实现噪声鲁棒性,且高性能常需大模型。本文提出一种基于SNN的VAD新模型sVAD,其特征为带有基于SNN注意力机制的听觉编码器。具体而言,它通过SincNet与1D卷积提供有效听觉特征表示,并利用注意力机制提升噪声鲁棒性。分类器利用脉冲循环神经网络(sRNN)挖掘时序语音信息。实验结果表明,sVAD实现了显著的噪声鲁棒性,同时保持低功耗与小体积,是面向真实VAD应用的有前景方案。
引用
@article{arxiv.2403.05772,
title = {sVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks},
author = {Qu Yang and Qianhui Liu and Nan Li and Meng Ge and Zeyang Song and Haizhou Li},
journal= {arXiv preprint arXiv:2403.05772},
year = {2024}
}
备注
Accepted by ICASSP 2024