ConvConcatNet：一种从 EEG 重建梅尔频谱图的深度卷积神经网络
信号处理
2024-09-24 v1 机器学习
摘要
为了研究大脑中的语音处理过程，通常使用简单的线性模型来建立脑信号与语音特征之间的关系。然而，这些线性模型不足以模拟像大脑这样高度动态和复杂的非线性系统。尽管最近已经开发了使用神经网络的非线性方法，但从未见过的受试者的 EEG 中重建未见过的刺激仍然是一项极具挑战性的任务。本工作提出了一种新颖的方法 ConvConcatNet，用于从 EEG 重建梅尔频谱图，该方法结合了深度卷积神经网络和广泛的拼接操作。借助我们的 ConvConcatNet 模型，重建的梅尔频谱图与目标梅尔频谱图之间的皮尔逊相关系数可达 0.0420，该成绩在听觉 EEG 挑战赛的任务 2 中排名第一。实现我们工作的代码和模型将在 Github 上提供：https://github.com/xuxiran/ConvConcatNet。
引用
@article{arxiv.2401.04965,
title = {ConvConcatNet: a deep convolutional neural network to reconstruct mel spectrogram from the EEG},
author = {Xiran Xu and Bo Wang and Yujie Yan and Haolin Zhu and Zechen Zhang and Xihong Wu and Jing Chen},
journal= {arXiv preprint arXiv:2401.04965},
year = {2024}
}
备注
2 pages, 1 figure, 2 tables