从MEG信号语义重建连续语言
人机交互
2023-09-15 v1 信号处理
神经元与认知
摘要
从神经信号解码语言具有重要的理论和实际意义。先前研究表明从侵入式神经信号解码文本或语音是可行的。然而，使用非侵入式神经信号时，由于其质量低，遇到了重大挑战。在本研究中，我们提出一种数据驱动方法，用于从受试者听连续语音时记录的脑磁图（MEG）信号解码语言语义。首先，使用对比学习训练多受试者解码模型，从 MEG 数据重建连续词嵌入。随后，采用束搜索算法基于重建的词嵌入生成文本序列。给定束中的候选句子，使用语言模型预测后续词。后续词的词嵌入与重建词嵌入相关联。这些相关性随后用作下一词的概率度量。结果表明，所提出的连续词嵌入模型能有效利用受试者特定与受试者共享信息。此外，解码文本与目标文本表现出显著相似性，平均 BERTScore 为 0.816，该分数与先前 fMRI 研究相当。
引用
@article{arxiv.2309.07701,
title = {Semantic reconstruction of continuous language from MEG signals},
author = {Bo Wang and Xiran Xu and Longxiang Zhang and Boda Xiao and Xihong Wu and Jing Chen},
journal= {arXiv preprint arXiv:2309.07701},
year = {2023}
}