Transformer语言模型中的句法归纳偏置：尤其有助于低资源语言吗？
计算与语言
2023-11-02 v1
摘要
基于Transformer的语言模型(如BERT)的一系列工作试图利用句法归纳偏置来增强预训练过程，其理论依据是：将句法结构构建进训练过程应减少训练所需数据量。但此类方法常针对英语等高资源语言进行测试。本文中，我们探究这些方法能否补偿低资源语言中的数据稀疏性，并假设它们对低资源语言应更为有效。我们以五种低资源语言进行实验：维吾尔语、沃洛夫语、马耳他语、科普特语与古希腊语。我们发现这些句法归纳偏置方法在低资源环境下产生不均衡的结果，且在多数情况下带来的益处出奇地小。
引用
@article{arxiv.2311.00268,
title = {Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?},
author = {Luke Gessler and Nathan Schneider},
journal= {arXiv preprint arXiv:2311.00268},
year = {2023}
}
备注
Accepted at CoNLL 2023