基于对比学习和SincNet的EEG与音频信号频域对齐用于听觉注意力检测
信号处理
2025-03-07 v1 声音
音频与语音处理
摘要
人类在复杂声学环境（如鸡尾酒会）中展现出卓越的听觉注意力聚焦能力。听觉注意力检测（AAD）旨在通过分析脑信号（如脑电图EEG数据）来识别被关注的说话者。现有的AAD算法通常利用深度学习的强大非线性建模能力，但很少考虑大脑听觉处理背后的神经机制。在本文中，我们提出了SincAlignNet，一个基于改进SincNet和对比学习的新型网络，旨在对齐音频和EEG特征以进行听觉注意力检测。SincNet组件模拟了大脑在听觉注意力期间对音频的处理，而对比学习引导模型学习EEG信号与被关注语音之间的关系。在推理阶段，我们计算EEG和音频特征之间的余弦相似度，并探索直接使用EEG数据推断被关注说话者。跨试次评估结果表明，SincAlignNet在两个公开数据集KUL和DTU上超越了最先进的AAD方法，在1秒决策窗口下分别达到78.3%和92.2%的平均准确率。该模型展现出强大的可解释性，揭示左右颞叶在男性和女性说话者场景中均更为活跃。此外，我们发现仅使用颞叶附近的六个电极即可保持与使用64个电极相似甚至更好的性能。这些发现表明高效的低密度EEG在线解码是可行的，标志着神经引导助听器在实际应用中的重要一步。代码可在 https://github.com/LiaoEuan/SincAlignNet 获取。
引用
@article{arxiv.2503.04156,
title = {Frequency-Based Alignment of EEG and Audio Signals Using Contrastive Learning and SincNet for Auditory Attention Detection},
author = {Yuan Liao and Yuhong Zhang and Qiushi Han and Yuhang Yang and Weiwei Ding and Yuzhe Gu and Hengxin Yang and Liya Huang},
journal= {arXiv preprint arXiv:2503.04156},
year = {2025}
}