非连续成分结构与 BERT：以荷兰语为例的研究
计算与语言
2022-03-09 v2 机器学习
摘要
在本文中，我们旨在量化 BERT 在非上下文无关模式评估体系中的句法能力，以荷兰语中出现的此类模式为例。我们设计了一个基于轻度上下文敏感形式体系的测试套件，并从中推导出捕捉控制动词嵌套和动词提升语言现象的语法。这些语法与一个小型词典配对，为我们提供了大量自然话语，并标注了动词-主语配对关系，作为基于注意力的跨度选择探针的评估测试平台。我们的结果，在广泛分析的支持下，表明所研究的模型未能隐式习得所考察的依存关系。
引用
@article{arxiv.2203.01063,
title = {Discontinuous Constituency and BERT: A Case Study of Dutch},
author = {Konstantinos Kogkalidis and Gijs Wijnholds},
journal= {arXiv preprint arXiv:2203.01063},
year = {2022}
}
备注
8 pages plus references. To appear in Findings of the Association for Computational Linguistics 2022