神经语言任务学：哪些NLP任务对fMRI脑活动最具预测性？

若干流行的基于 Transformer 的语言模型已被发现能成功用于文本驱动的脑编码。然而，现有文献仅利用了预训练的文本 Transformer 模型，尚未探索任务特定学习的 Transformer 表征的有效性。在这项工作中，我们探索从为十项流行自然语言处理任务（两项句法、八项语义）学习的表征中进行迁移学习，以从两个不同数据集预测脑响应：Pereira（受试者在段落中阅读句子）和 Narratives（受试者听口语故事）。基于任务特征的编码模型用于预测全脑不同区域的活动。来自共指消解、NER 和浅层句法分析的特征对阅读活动解释了更大的方差。另一方面，对于听活动，诸如复述生成、摘要和自然语言推理等任务显示出更好的编码性能。跨所有 10 种任务表征的实验提供了以下认知见解：（i）语言左半球比语言右半球具有更高的可预测脑活动；（ii）后内侧皮层、颞顶枕交界区、背侧额叶比早期听觉和听觉联合皮层具有更高的相关性；（iii）句法和语义任务分别对阅读和听刺激在脑区上显示出良好的预测性能。