探究神经语言模型中动词偏置的表征
计算与语言
2020-10-19 v2
摘要
语言通常为表达某些类型的信息提供不止一种语法结构。已知说话者对结构的选择取决于多种因素，包括主要动词的选择——这一现象被称为动词偏置。在此我们引入 DAIS，一个大型基准数据集，包含英语与格交替中 5K 个不同句子对的 50K 个人类判断。该数据集包含 200 个独特动词，并系统地改变论元的确定性和长度。我们使用该数据集以及现有的自然发生数据语料库，评估近期神经语言模型对人类偏好的捕捉程度。结果表明，较大的模型比较小的模型表现更好，且即使在可比较的参数和训练设置下，transformer 架构（如 GPT-2）往往优于循环架构（如 LSTM）。对内部特征表征的额外分析表明，transformer 可能更好地将特定词汇信息与语法结构相整合。
引用
@article{arxiv.2010.02375,
title = {Investigating representations of verb bias in neural language models},
author = {Robert D. Hawkins and Takateru Yamakoshi and Thomas L. Griffiths and Adele E. Goldberg},
journal= {arXiv preprint arXiv:2010.02375},
year = {2020}
}
备注
Accepted to EMNLP