用于改进基于 EEG 的语音识别系统的约束变分自编码器
音频与语音处理
2020-06-05 v1 机器学习
声音
信号处理
摘要
本文提出一种基于循环神经网络（RNN）的变分自编码器（VAE）模型，带有新的约束损失函数，可从原始脑电图（EEG）特征生成更具意义的 EEG 特征，以改进基于 EEG 的语音识别系统性能。我们证明，使用由我们的 VAE 模型从原始 EEG 特征生成的特征训练和测试的连续与孤立语音识别系统均取得性能提升，并在由 30 个独特句子组成的有限英语词汇（连续语音识别）以及由 2 个独特句子组成的英语词汇（孤立语音识别）上展示了结果。我们将方法与文献[1]中作者提出的另一种用于改进基于 EEG 的连续语音识别系统性能的方法进行比较，并证明在采用相同数据集训练与测试时，随着词汇量增大我们的方法优于其方法。尽管本文仅展示了自动语音识别（ASR）实验的结果，所提出的带约束损失函数的 VAE 模型可推广至多种其他基于 EEG 的脑机接口（BCI）应用。
引用
@article{arxiv.2006.02902,
title = {Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems},
author = {Gautam Krishna and Co Tran and Mason Carnahan and Ahmed Tewfik},
journal= {arXiv preprint arXiv:2006.02902},
year = {2020}
}
备注
Under Review. arXiv admin note: substantial text overlap with arXiv:2006.01260