探测大型预训练语言模型对英语动词类与交替现象的表征理解
计算与语言
2022-09-13 v1
摘要
我们利用为词级与句子级预测任务选择性构建的诊断分类器，考察了 Levin（1993）所描述的动词交替类在 BERT、RoBERTa、ELECTRA 和 DeBERTa 等大型预训练语言模型（PLM）的嵌入中的编码程度。我们遵循并扩展了 Kann 等人（2019）的实验，其旨在探测静态嵌入是否编码动词的句式选择属性。在词级和句子级上，我们发现来自 PLM 的上下文嵌入不仅优于非上下文嵌入，而且在绝大多数交替类的任务上取得了惊人的高准确率。此外，我们发现证据表明，在所有探测任务中，PLM 的中上层平均性能优于下层。
引用
@article{arxiv.2209.04811,
title = {Probing for Understanding of English Verb Classes and Alternations in Large Pre-trained Language Models},
author = {David K. Yi and James V. Bruno and Jiayu Han and Peter Zukerman and Shane Steinert-Threlkeld},
journal= {arXiv preprint arXiv:2209.04811},
year = {2022}
}
备注
8 pages, 6 figures