用于从神经活动高保真重建语音的NeuroIncept解码器
声音
2025-05-21 v1 人机交互
音频与语音处理
摘要
本文介绍了一种新颖的算法，用于从通过侵入性脑电图（EEG）技术获得的神经活动记录中进行语音合成。所提出的系统为严重言语障碍患者提供了一种有前景的通信解决方案。我们方法的核心是将从EEG记录中计算的高伽马波段时频特征与先进的NeuroIncept解码器架构相结合。这种神经网络架构结合了卷积神经网络（CNN）和门控循环单元（GRU），从神经模式重建音频频谱图。我们的模型在预测和实际频谱图之间展示了稳健的平均相关系数，尽管受试者间的变异性表明参与者之间存在不同的神经处理机制。总体而言，我们的研究强调了神经解码技术在恢复言语障碍患者沟通能力方面的潜力，并为脑机接口技术的未来进展铺平了道路。
引用
@article{arxiv.2501.03757,
title = {NeuroIncept Decoder for High-Fidelity Speech Reconstruction from Neural Activity},
author = {Owais Mujtaba Khanday and José L. Pérez-Córdoba and Mohd Yaqub Mir and Ashfaq Ahmad Najar and Jose A. Gonzalez-Lopez},
journal= {arXiv preprint arXiv:2501.03757},
year = {2025}
}