从 EEG 预测不同声学特征及直接从 EEG 合成音频波形
音频与语音处理
2020-06-03 v1 机器学习
声音
信号处理
摘要
文献 [1,2] 的作者提供了从脑电图（EEG）特征合成语音的初步结果，他们首先从 EEG 特征预测声学特征，然后使用 Griffin-Lim 重建算法从预测的声学特征重建语音。在本文中，我们首先引入了一个深度学习模型，该模型以原始 EEG 波形信号作为输入，并直接输出音频波形。然后，我们演示了从 EEG 特征预测 16 种不同的声学特征。我们在本文中展示了说话和听觉两种条件下的结果。本文呈现的结果表明了不同的声学特征如何与在语音感知和产生过程中记录的非侵入性神经 EEG 信号相关联。
引用
@article{arxiv.2006.01262,
title = {Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG},
author = {Gautam Krishna and Co Tran and Mason Carnahan and Ahmed Tewfik},
journal= {arXiv preprint arXiv:2006.01262},
year = {2020}
}
备注
Under Review