BERTje：一个荷兰语 BERT 模型
计算与语言
2019-12-23 v1
摘要
基于 transformer 的预训练语言模型 BERT 已助力许多自然语言处理(NLP)任务达到最先进性能。采用相同架构与参数，我们开发并评估了一个名为 BERTje 的单语荷兰语 BERT 模型。与包含荷兰语但仅基于维基百科文本的多语 BERT 模型相比，BERTje 基于一个含 24 亿词元的大规模多样化数据集。BERTje 在下游 NLP 任务（词性标注、命名实体识别、语义角色标注与情感分析）上一致优于同等规模的多语 BERT 模型。我们的预训练荷兰语 BERT 模型发布于 https://github.com/wietsedv/bertje。
引用
@article{arxiv.1912.09582,
title = {BERTje: A Dutch BERT Model},
author = {Wietse de Vries and Andreas van Cranenburgh and Arianna Bisazza and Tommaso Caselli and Gertjan van Noord and Malvina Nissim},
journal= {arXiv preprint arXiv:1912.09582},
year = {2019}
}