通过从微调语言模型预测语言诱发的 EEG 数据来理解它
计算与语言
2019-11-05 v1 机器学习
摘要
参与者阅读或聆听语言时采集的脑活动脑电图（EEG）记录在认知神经科学与心理语言学领域被广泛用作研究语言理解的工具。对词呈现的若干时间锁定刻板 EEG 响应——统称为事件相关电位（ERPs）——被认为是理解过程中发生的语义或句法过程的标记。然而，就语言流的哪些特征触发各 ERP 而言，对每个 ERP 的刻画仍存在争议。改进此刻画将使 ERPs 成为研究语言理解更有用的工具。我们通过微调一个语言模型来预测 ERPs，朝更好理解 ERPs 迈出一步。这一新的分析方法首次表明，所有 ERPs 均可由语言流的嵌入预测。先前工作仅发现两个 ERPs 可预测。除该分析外，我们考察哪些 ERPs 在联合训练时受益于参数共享。我们发现文献中先前确认的两对相互关联的 ERPs 受益于联合训练，而另外几对受益于联合训练的 ERPs 暗示了潜在关联。该分析的扩展进一步考察模型嵌入中何种信息与各 ERP 相关，有潜力阐明人类语言理解涉及的加工过程。
引用
@article{arxiv.1904.01548,
title = {Understanding language-elicited EEG data by predicting it from a fine-tuned language model},
author = {Dan Schwartz and Tom Mitchell},
journal= {arXiv preprint arXiv:1904.01548},
year = {2019}
}
备注
To appear in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics