不同种类的认知合理性：为何 transformer 比 RNN 更能预测 N400 振幅？
计算与语言
2021-07-21 v1 人工智能
机器学习
摘要
尽管 transformer 语言模型是为性能而非认知合理性而设计的，但人们发现它们在预测用于评估人类语言理解能力的指标方面优于其他架构（如循环神经网络）的语言模型。基于它们对 N400（一种与加工难度相关的神经信号）的预测效果，我们提出并提供了一种可能解释的证据——它们的预测受到前文语境的影响，其方式类似于人类语义促进效应。
引用
@article{arxiv.2107.09648,
title = {Different kinds of cognitive plausibility: why are transformers better than RNNs at predicting N400 amplitude?},
author = {James A. Michaelov and Megan D. Bardolph and Seana Coulson and Benjamin K. Bergen},
journal= {arXiv preprint arXiv:2107.09648},
year = {2021}
}