使用 fMRI 提示 LLM 的开放词汇听觉神经解码
人机交互
2024-05-14 v1 计算与语言
摘要
从大脑信号中解码语言信息是脑机接口中的一个重要研究领域，特别是在从 fMRI 信号中破译语义信息的背景下。然而，现有的许多努力集中在解码小词汇集上，为开放词汇连续文本解码的探索留下了空间。在本文中，我们引入了一种新方法，即 \textbf{Brain Prompt GPT (BP-GPT)}。通过使用从 fMRI 提取的大脑表征作为提示，我们的方法可以利用 GPT-2 将 fMRI 信号解码为刺激文本。此外，我们引入了文本到文本的基线，并将 fMRI 提示与文本提示对齐。通过引入文本到文本的基线，我们的 BP-GPT 能够提取更稳健的大脑提示，并促进预训练 LLM 的解码。我们在开源听觉语义解码数据集上评估了我们的 BP-GPT，与最先进的方法相比，在所有受试者上的 METEOR 取得了高达 的显著提升，在 BERTScore 上取得了 的提升。实验结果表明，使用大脑表征作为提示进一步驱动 LLM 进行听觉神经解码是可行且有效的。
引用
@article{arxiv.2405.07840,
title = {Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM},
author = {Xiaoyu Chen and Changde Du and Che Liu and Yizhe Wang and Huiguang He},
journal= {arXiv preprint arXiv:2405.07840},
year = {2024}
}