EstBERT：面向爱沙尼亚语的特定语言预训练 BERT 模型
计算与语言
2021-04-29 v3
摘要
本文提出 EstBERT，一个基于 transformer 的、面向爱沙尼亚语的大型特定语言预训练 BERT 模型。近期工作已在爱沙尼亚语任务上评估了多语言 BERT 模型，并发现其优于基线模型。然而，基于对其他语言的已有研究，特定语言的 BERT 模型有望优于多语言模型。我们首先描述 EstBERT 的预训练过程，然后给出基于微调 EstBERT 在多项 NLP 任务上的模型结果，包括词性标注与形态标注、命名实体识别和文本分类。评估结果表明，基于 EstBERT 的模型在六项任务中的五项上优于多语言 BERT 模型，进一步证明了即便存在多语言模型，训练特定语言的 BERT 模型仍然是有用的这一观点。
引用
@article{arxiv.2011.04784,
title = {EstBERT: A Pretrained Language-Specific BERT for Estonian},
author = {Hasan Tanvir and Claudia Kittask and Sandra Eiche and Kairit Sirts},
journal= {arXiv preprint arXiv:2011.04784},
year = {2021}
}
备注
NoDaLiDa 2021