脑电听觉注意检测的 S$^2$M-Former：脉冲对称混合分支变换器
机器学习
2025-11-12 v2
摘要
听觉注意检测 (AAD) 旨在从脑电 (EEG) 记录中解码听众的注意力聚焦，这对于开发神经导向的听力设备至关重要。尽管近期取得了进展，但 EEG 基于的 AAD 仍受限于缺乏能够充分利用互补 EEG 特征的协同框架，在能源效率约束下。我们提出 SM-Former，一种新型脉冲对称混合框架，以解决这一限制，具体通过两个关键创新实现：i) 提出一种基于脉冲的对称体系结构，由平行的空间分支和频率分支组成，具有镜像模块化设计，利用生物学上可信的 token-channel 混合器来增强跨分支的互补学习；ii) 引入轻量级 1D token 序列取代常规 3D 操作，参数减少 14.7 倍。这种以大脑为灵感的脉冲体系结构进一步降低了能耗，实现了与最新 ANN 方法相比的 5.8 倍能耗降低，同时也在参数效率和性能上超越了现有的 SNN 基线。在三个 AAD 基准测试 (KUL、DTU 和 AV-GC-AAD) 上的全面实验表明，SM-Former 在三个设置 (within-trial、cross-trial 和 cross-subject) 中实现了与最先进方法相当的解码准确率，成为 AAD 任务中具有竞争力的低功耗、高性能解决方案。代码已公开：https://github.com/JackieWang9811/S2M-Former。
关键词
引用
@article{arxiv.2508.05164,
title = {S$^2$M-Former: Spiking Symmetric Mixing Branchformer for Brain Auditory Attention Detection},
author = {Jiaqi Wang and Zhengyu Ma and Xiongri Shen and Chenlin Zhou and Leilei Zhao and Han Zhang and Yi Zhong and Siqi Cai and Zhenxi Song and Zhiguo Zhang},
journal= {arXiv preprint arXiv:2508.05164},
year = {2025}
}
备注
Accepted by 39th Conference on Neural Information Processing Systems (NeurIPS 2025)