频率效应对Transformer中句法规则学习的影响
计算与语言
2021-09-16 v1
摘要
预训练语言模型在各类需要符号推理的语言学任务上表现良好，引发了此类模型是否隐式表征了抽象符号与规则的问题。我们以BERT在英语主谓一致（subject-verb agreement）上的表现为案例研究对此问题进行探究。与先前工作不同，我们从头训练多个BERT实例，从而能在预训练阶段实施一系列受控干预。我们表明BERT常能很好地泛化至训练中从未出现的主谓组合，暗示了一定程度的受规则支配的行为。然而我们也发现，性能深受词频影响：实验显示，动词形式的绝对频率及其相对于另一屈折形式的频率，均因果地牵涉到BERT在推理时所作的预测。对这些频率效应的进一步分析揭示，BERT的行为与如下系统一致：其总体上正确应用SVA规则，却难以克服强训练先验，并难以对低频词汇项估计一致特征（单数 vs. 复数）。
引用
@article{arxiv.2109.07020,
title = {Frequency Effects on Syntactic Rule Learning in Transformers},
author = {Jason Wei and Dan Garrette and Tal Linzen and Ellie Pavlick},
journal= {arXiv preprint arXiv:2109.07020},
year = {2021}
}
备注
Camera ready for EMNLP 2021