基于EEG的语音包络重构的主体解缝神经网络
信号处理
2025-01-16 v1 人机交互
声音
音频与语音处理
摘要
从EEG信号重建语音包络对于探索语音感知的神经机制至关重要。然而，EEG在不同主体间的变异性和生理性伪影 complicate 准确重构。为了解决这个问题，我们引入了Subject Disentangling Neural Network（SDN-Net），通过解缝重建语音包络中的主体身份信息来提高跨主体重建准确性。SDN-Net集成了三个关键组件：MLA-Codec、MPN-MI和CTA-MTDNN。MLA-Codec是一个全卷积神经网络，用于从EEG信号解码语音包络。CTA-MTDNN模块是一个多尺度时延神经网络，具有通道和时序注意力，用于从EEG信号中提取主体身份特征。最后，MPN-MI模块是一个多层感知机，用于监督从重建语音包络中移除主体身份信息。在Auditory EEG Decoding Dataset上的实验表明，SDN-Net在内部和跨主体语音包络重建方面优于最近的SOTA方法。
引用
@article{arxiv.2501.08693,
title = {Subject Disentanglement Neural Network for Speech Envelope Reconstruction from EEG},
author = {Li Zhang and Jiyao Liu},
journal= {arXiv preprint arXiv:2501.08693},
year = {2025}
}