基于神经网络的脑电-语音模型
声音
2017-04-04 v2 机器学习
摘要
本文提出一种基于端到端神经网络(NN)的脑电-语音(NES)建模框架，其中开发了三种网络结构将想象中的 EEG 信号映射至音素。所提出的 NES 模型包含一个基于语言模型的 EEG 特征提取层、一个声学特征映射层以及一个基于受限玻尔兹曼机(RBM)的特征学习层。NES 模型能够联合实现多通道 EEG 信号的表示与声学语音信号的投影。在三种提出的 NES 模型中，两个增强网络利用发声 EEG 信号作为偏置或门控信息，以加强想象 EEG 信号的特征学习与转换。实验结果表明，所有三种提出的 NES 模型在脑电-语音分类上均优于基线支持向量机(SVM)方法。在二分类方面，我们的方法取得了与深度信念网络(deep believe network)方法相当的结果。
引用
@article{arxiv.1612.05369,
title = {Neural networks based EEG-Speech Models},
author = {Pengfei Sun and Jun Qin},
journal= {arXiv preprint arXiv:1612.05369},
year = {2017}
}
备注
10 pages