循环网络与人类在句法一致性错误上的不同模式
计算与语言
2018-07-19 v1
摘要
确定语境中动词的正确形式需要理解句子的句法结构。尽管循环神经网络并非以显式句法表征设计，但已被证明在此任务上的错误率可与人类相媲美。为考察这些网络的句法表征与人类在处理句子时所用的句法表征在多大程度上相似，我们比较了 RNN 与人类在该任务上错误的详细模式。尽管存在显著相似性（吸引错误、单复数主语间的不对称性），错误模式在重要方面存在差异。特别是在含关系从句的复杂句子中，循环神经网络的错误率上升而人类下降。此外，循环神经网络表现出吸引子的累积效应而人类没有。我们得出结论：至少在某些方面，循环神经网络习得的句法表征与人类所用的存在根本不同。
引用
@article{arxiv.1807.06882,
title = {Distinct patterns of syntactic agreement errors in recurrent networks and humans},
author = {Tal Linzen and Brian Leonard},
journal= {arXiv preprint arXiv:1807.06882},
year = {2018}
}
备注
Proceedings of the 40th Annual Conference of the Cognitive Science Society