Thought2Text：使用大语言模型（LLMs）从脑电信号生成文本
计算与语言
2025-12-02 v2
摘要
解码并以可理解的形式表达脑活动是AI领域的一个具有挑战性的前沿。本文提出Thought2Text，该方法使用经过指令微调的大语言模型（LLMs）配合脑电（EEG）数据以实现此目标。该方法包含三个阶段：（1）训练EEG编码器进行视觉特征提取，（2）在图像和文本数据上微调LLMs，以生成多模态描述，（3）在EEG嵌入上进一步微调，以在推理期间直接从EEG生成文本。我们在收集于六名受试者、包含图像刺激和文本标题的公开EEG数据集上进行实验，验证了多模态LLMs（LLaMA-v3、Mistral-v0.3、Qwen2.5）的有效性，同时使用传统语言生成评估指标以及流畅性和充分性措施进行评估。这一方法标志着向便携式、低成本“思维转文本”技术迈进，具有潜在的神经科学和自然语言处理应用前景。
引用
@article{arxiv.2410.07507,
title = {Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs)},
author = {Abhijit Mishra and Shreya Shukla and Jose Torres and Jacek Gwizdka and Shounak Roychowdhury},
journal= {arXiv preprint arXiv:2410.07507},
year = {2025}
}
备注
Accepted to Findings of NAACL 2025