Bertinho：加利西亚语 BERT 表示
计算与语言
2021-04-08 v1
摘要
本文提出一个加利西亚语的单语 BERT 模型。我们遵循近期趋势，即表明即使对于相对低资源的语言，构建稳健的单语 BERT 模型也是可行的，同时其表现优于知名官方多语 BERT（mBERT）。更具体地，我们发布两个单语加利西亚语 BERT 模型，分别使用 6 层和 12 层 transformer 构建；以有限资源训练（在单块 24GB GPU 上约 4500 万 tokens）。随后我们在词性标注、依存句法分析和命名实体识别等多项任务上提供详尽评估。为此，所有这些任务都被转换为纯序列标注设置，以便在不需在 BERT 之上添加任何额外层的情况下运行 BERT（我们仅使用输出分类层将上下文化表示映射为预测标签）。实验表明，我们的模型，尤其是 12 层模型，在大多数任务上优于 mBERT 的结果。
引用
@article{arxiv.2103.13799,
title = {Bertinho: Galician BERT Representations},
author = {David Vilares and Marcos Garcia and Carlos Gómez-Rodríguez},
journal= {arXiv preprint arXiv:2103.13799},
year = {2021}
}
备注
Accepted in the journal Procesamiento del Lenguaje Natural