用于脑辅助语音增强的稀疏驱动脑电通道选择
音频与语音处理
2024-06-26 v3
摘要
语音增强被广泛用作前端以改善许多音频系统中的语音质量，而在多说话人条件下若无说话人身份的先验信息则难以提取目标语音。已有研究表明，听者对目标说话人的听觉注意可从其脑电图（EEG）中隐式解码。因此，在本工作中我们提出一种新颖的端到端脑辅助语音增强网络（BASEN），其融合听者的 EEG 信号，并采用时间卷积网络与卷积多层交叉注意力模块来融合 EEG-音频特征。考虑到稀疏通道的 EEG 帽具有多重益处且实践中许多电极可能贡献甚微，我们进一步提出两种通道选择方法，称为残差 Gumbel 选择（residual Gumbel selection）和卷积正则化选择（convolutional regularization selection）。它们分别致力于解决训练不稳定和重复通道选择问题。在公开数据集上的实验结果显示所提 BASEN 优于现有方法。所提通道选择方法能在对性能影响可忽略的情况下显著减少信息性 EEG 通道数量。
引用
@article{arxiv.2311.13436,
title = {Sparsity-Driven EEG Channel Selection for Brain-Assisted Speech Enhancement},
author = {Jie Zhang and Qing-Tian Xu and Zhen-Hua Ling and Haizhou Li},
journal= {arXiv preprint arXiv:2311.13436},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2305.09994