Brain2Word：解码大脑活动以生成语言
计算与语言
2020-11-12 v3 机器学习
神经元与认知
摘要
大脑解码，理解为将大脑活动映射到产生它们的刺激的过程，在过去几年中一直是一个活跃的研究领域。在语言刺激的情况下，最近的研究表明，可以将 fMRI 扫描解码为受试者正在阅读的词的嵌入。然而，此类词嵌入是为自然语言处理任务而非大脑解码设计的。因此，它们限制了我们恢复精确刺激的能力。在这项工作中，我们提出直接对 fMRI 扫描进行分类，将其映射到固定词表中的相应词。与现有工作不同，我们在来自先前未见过受试者的扫描上进行评估。我们认为这是一个更现实的设置，并且我们提出了一个可以解码来自未见过受试者的 fMRI 数据的模型。我们的模型在这一具有挑战性的任务中达到了 5.22% 的 Top-1 和 13.59% 的 Top-5 准确率，显著优于所有考虑的竞争性基线。此外，我们使用解码的词来指导 GPT-2 模型的语言生成。通过这种方式，我们推进了将大脑活动翻译成连贯文本的系统探索。
引用
@article{arxiv.2009.04765,
title = {Brain2Word: Decoding Brain Activity for Language Generation},
author = {Nicolas Affolter and Beni Egressy and Damian Pascual and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2009.04765},
year = {2020}
}
备注
Preprint. Work in progress