EEG 到文本翻译：解码人类脑活动的模型
计算与语言
2025-12-10 v2 人工智能
摘要
随着 Gemini、GPT 等大型语言模型的快速发展，搭建人类大脑与语言处理之间的鸿沟已成为重要关注领域。为此，研究人员开发了各种模型来解码 EEG 信号为文本。然而，这些模型仍面临显著的性能局限。为克服这些不足，我们提出了新的模型 R1 Translator，旨在提高 EEG 到文本解码的性能。R1 Translator 模型结合了双向 LSTM 编码器和预训练的基于转换器的解码器，利用 EEG 特征生成高质量文本输出。模型通过 LSTM 处理 EEG 嵌入以捕捉时序依赖性，然后输入转换器解码器进行有效的文本生成。R1 Translator 在 ROUGE 指标方面表现突出，优于 T5（前期研究）和 Brain Translator。具体而言，R1 在 ROUGE-1 分数上达到 38.00%（P），比 T5（34.89%）高出约 9%，比 Brain（35.69%）高出 3%。在 ROUGE-L 中，R1 以 F1 分数 32.51% 领先，分别比 T5（29.67%）高出 3%，比 Brain（30.38%）高出 2%。在 CER 方面，R1 实现了 0.5795，分别比 T5（0.5917）低 2%，比 Brain（0.6001）低 4%。此外，R1 在 WER 上表现更好，得分为 0.7280，分别比 T5（0.7610）高出 4.3%，比 Brain（0.7553）高出 3.6%。代码已在 https://github.com/Mmurrad/EEG-To-text 上提供。
引用
@article{arxiv.2505.13936,
title = {EEG-to-Text Translation: A Model for Deciphering Human Brain Activity},
author = {Saydul Akbar Murad and Ashim Dahal and Nick Rahimi},
journal= {arXiv preprint arXiv:2505.13936},
year = {2025}
}