神经语言模型对抽象同一关系的计算是否类人？
计算与语言
2022-05-13 v1
摘要
近年来，深度神经语言模型在各种NLP任务上取得了显著进展。本文探讨一个方面的问题：最先进的NLP模型是否展现出人类认知中已知的基本机制。研究聚焦于一种相对原始的机制，已有大量针对婴儿的心理语言学实验证据支持其存在。据认为，“抽象同一关系”的计算在人类语言习得与加工（尤其是学习更复杂语法规则）中起着重要作用。为在BERT及其他预训练语言模型（PLMs）中考察该机制，我们以针对婴儿的研究实验设计为起点，在此基础上设计了实验设置，将原始研究中的每个要素映射到语言模型的组件上。尽管我们的实验任务相对简单，但结果表明，在计算抽象同一关系的认知能力上，婴儿强于所有被研究的PLMs。
引用
@article{arxiv.2205.06149,
title = {Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models?},
author = {Lukas Thoma and Benjamin Roth},
journal= {arXiv preprint arXiv:2205.06149},
year = {2022}
}