深度神经网络与大脑中简单句子表征的关联研究
计算与语言
2019-07-01 v1
摘要
深度循环模型学到的句子表征与大脑编码的表征之间有何关系？在处理句子时，这些循环模型的隐藏层与大脑区域之间是否存在某种对应？这些深度模型是否可用于合成脑数据，进而用于其他外部任务？我们使用具有简单句法和语义的句子（例如：The bone was eaten by the dog.）来研究这些问题。我们考虑了多种神经网络架构，包括最近提出的 ELMo 和 BERT。我们使用了人类受试者在阅读这些简单句子时采集的脑磁图（MEG）脑记录数据。总体而言，我们发现 BERT 的激活与 MEG 脑数据的相关系数最高。我们还发现，深度网络表征可用于从新句子生成脑数据，以扩充已有的脑数据。据我们所知，这是首项表明在阅读句子中某个词时的 MEG 脑记录可用于区分该句中较早词语的工作。我们的探索也是首次使用深度神经网络表征生成合成脑数据，并证明它有助于提升后续的刺激解码任务准确率。
引用
@article{arxiv.1906.11861,
title = {Relating Simple Sentence Representations in Deep Neural Networks and the Brain},
author = {Sharmistha Jat and Hao Tang and Partha Talukdar and Tom Mitchell},
journal= {arXiv preprint arXiv:1906.11861},
year = {2019}
}
备注
Association for Computational Linguistics (ACL) 2019