一便币之言：从廉价脑信号解码语音
声音
2025-11-10 v1 人工智能
计算与语言
人机交互
音频与语音处理
神经元与认知
摘要
我们探讨了神经网络是否能够通过将 EEG 记录映射到语音表示来解码脑活动为语音。使用作为受试者听然语音时记录的 EEG 数据，我们训练了一个带有对比 CLIP 损失的模型，以对齐从 EEG 派生的嵌入与来自预训练基于变换器的语音模型的嵌入。建立在 Meta 最近的 EEG 解码器基础上，我们引入了三个架构修改：(i) 受试者特定注意力层（+0.15% WER 改进），(ii) 个人化空间注意力（+0.45%），以及 (iii) 双路径 RNN 带注意力（-1.87%）。其中两个修改提高了性能，凸显了针对脑-语音解码和脑机接口应用的个人化架构的前景。
引用
@article{arxiv.2511.04691,
title = {A Penny for Your Thoughts: Decoding Speech from Inexpensive Brain Signals},
author = {Quentin Auster and Kateryna Shapovalenko and Chuang Ma and Demaio Sun},
journal= {arXiv preprint arXiv:2511.04691},
year = {2025}
}