BP-GPT：基于 fMRI 触发的 GPT 听觉神经解码
人机交互
2025-02-24 v1 计算与语言
摘要
从脑信号解码语言信息是脑机接口中的重要研究领域，尤其是解码 fMRI 信号中的语义信息。尽管已有工作使用大语言模型（LLM）实现此目标，但其方法未采用端到端方法，且在 fMRI 到文本的映射中规避了 LLM，仍存探索 LLM 在听觉解码中的潜力。本文提出了一种新方法，称为脑提示 GPT（BP-GPT）。通过使用从 fMRI 中提取的脑表征作为提示，我们的方法能够利用 GPT-2 将 fMRI 信号解码为刺激文本。进一步，我们引入文本提示并将 fMRI 提示与之对齐。通过引入文本提示，BP-GPT 能够提取更稳健的脑提示，并推动预训练大语言模型的解码。我们在公开的听觉语义解码数据集上评估了 BP-GPT，相较于最新方法，在所有受试者中实现了 METEOR 提升最高达 4.61，BERTScore 提升最高达 2.43。实验结果表明，使用脑表征作为提示进一步驱动大语言模型进行听觉神经解码是可行且有效的。代码已公开于 https://github.com/1994cxy/BP-GPT。
引用
@article{arxiv.2502.15172,
title = {BP-GPT: Auditory Neural Decoding Using fMRI-prompted LLM},
author = {Xiaoyu Chen and Changde Du and Che Liu and Yizhe Wang and Huiguang He},
journal= {arXiv preprint arXiv:2502.15172},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2405.07840