从语言到类语言：LSTM 对无意义语言刺激的表征有多像大脑？
计算与语言
2020-10-16 v1 机器学习
摘要
许多语言模型（词嵌入、循环神经网络和 transformer）生成的表征与人们阅读时记录的大脑活动相关。然而，这些解码结果通常基于大脑对句法和语义健全的语言刺激的反应。在本研究中，我们追问：一个（大体上）在语义和句法完整语言上训练的 LSTM（长短期记忆）语言模型，如何表征语义或句法信息退化的语言样本？LSTM 的表征是否仍类似于大脑的反应？我们发现，即使对于某些类型的无意义语言，大脑活动与 LSTM 的表征之间也存在统计显著的关系。这表明，至少在某些实例中，LSTM 与人类大脑以相似方式处理无意义数据。
引用
@article{arxiv.2010.07435,
title = {From Language to Language-ish: How Brain-Like is an LSTM's Representation of Nonsensical Language Stimuli?},
author = {Maryam Hashemzadeh and Greta Kaufeld and Martha White and Andrea E. Martin and Alona Fyshe},
journal= {arXiv preprint arXiv:2010.07435},
year = {2020}
}
备注
12 pages