基于EEG的皮质形态混合CNN-SNN架构用于低占用低延迟听觉注意检测
信号处理
2023-07-18 v1 机器学习
声音
音频与语音处理
摘要
在多说话人“鸡尾酒会”场景中，听者可以有选择地注意感兴趣的说话人。对人脑听觉注意网络的研究表明，皮层对语音包络的跟随导致高度相关的脑电图（EEG）测量。当前使用人工神经网络（ANN）进行基于EEG的听觉注意检测（AAD）的趋势由于使用多个EEG通道、较长的决策窗口、更高的功耗和更大的内存占用需求，对于边缘计算平台并不实用。而且ANN也无法准确建模大脑的自上而下注意网络，因为皮层组织复杂且分层。本文受听觉皮层启发，提出一种混合卷积神经网络-脉冲神经网络（CNN-SNN）皮质形态架构，该架构利用EEG数据与多说话人语音包络，仅使用 strategically 置于听觉皮层附近的8个EEG电极，以低至1秒的延迟成功解码听觉注意，准确率达91.03%，优于现有最优方法。同时，相较于传统CNN参考模型，我们的模型参数减少约15%，且采用更低比特精度，从而实现约57%的内存占用降低。结果表明该架构在智能助听器等脑嵌入式设备的边缘计算方面具有很大前景。
引用
@article{arxiv.2307.08501,
title = {Corticomorphic Hybrid CNN-SNN Architecture for EEG-based Low-footprint Low-latency Auditory Attention Detection},
author = {Richard Gall and Deniz Kocanaogullari and Murat Akcakaya and Deniz Erdogmus and Rajkumar Kubendran},
journal= {arXiv preprint arXiv:2307.08501},
year = {2023}
}