用脑信号救援失语症、言语失用症与构音障碍语音识别
声音
2021-07-20 v2 机器学习
音频与语音处理
定量方法
摘要
在本文中，我们提出一种基于深度学习的算法，通过利用与失语症、言语失用症和构音障碍语音同步记录的脑电图（EEG）特征，来提升针对上述语音的自动语音识别（ASR）系统性能。我们在测试时展示了孤立语音识别任务上超过 50% 的显著解码性能提升，并给出了初步结果，表明利用 EEG 特征在更具挑战性的连续语音识别任务上也有性能提升。本文结果展示了迈向利用非侵入式神经信号为从失语症、言语失用症和构音障碍中康复的卒中幸存者设计实时鲁棒语音假体的可能性的第一步。我们的失语症、言语失用症和构音障碍语音-EEG 数据集将公开发布，以帮助进一步推进这一有趣且关键的研究。
引用
@article{arxiv.2103.00383,
title = {Brain Signals to Rescue Aphasia, Apraxia and Dysarthria Speech Recognition},
author = {Gautam Krishna and Mason Carnahan and Shilpa Shamapant and Yashitha Surendranath and Saumya Jain and Arundhati Ghosh and Co Tran and Jose del R Millan and Ahmed H Tewfik},
journal= {arXiv preprint arXiv:2103.00383},
year = {2021}
}
备注
Accepted to IEEE EMBC 2021