评估BERT的句法能力
计算与语言
2019-01-17 v1
摘要
我评估了近期提出的BERT模型在多大程度上捕捉了英语句法现象，使用了（1）自然出现的主谓一致刺激；（2）“无色绿色想法”主谓一致刺激，其中自然句子中的内容词被随机替换为具有相同词性与屈折变化形式的词；以及（3）为主谓一致与反身照应现象手工制作的刺激。BERT模型在所有情况下均表现极为良好。
引用
@article{arxiv.1901.05287,
title = {Assessing BERT's Syntactic Abilities},
author = {Yoav Goldberg},
journal= {arXiv preprint arXiv:1901.05287},
year = {2019}
}