用掩码注意力生成探测大脑上下文敏感性
计算与语言
2023-05-24 v1
摘要
神经语言学中的两个基本问题涉及在词汇层面之外整合信息的脑区，以及它们整合窗口的大小。为解决这些问题，我们引入了一种称为掩码注意力生成的新方法。它使用GPT-2 transformers生成捕获固定数量上下文信息的词嵌入。然后我们测试了这些嵌入能否预测听自然文本的人的fMRI大脑活动。结果表明，语言网络内的大部分皮层对上下文信息敏感，且右半球比左半球对更长上下文更敏感。掩码注意力生成支持了先前关于大脑上下文敏感性的分析，并通过量化每个体素的上下文整合窗口大小对其进行了补充。
引用
@article{arxiv.2305.13863,
title = {Probing Brain Context-Sensitivity with Masked-Attention Generation},
author = {Alexandre Pasquiou and Yair Lakretz and Bertrand Thirion and Christophe Pallier},
journal= {arXiv preprint arXiv:2305.13863},
year = {2023}
}
备注
2 pages, 2 figures, CCN 2023