ALBETO 与 DistilBETO：轻量级西班牙语语言模型
计算与语言
2023-01-27 v2
摘要
近年来，预训练语言模型取得了显著进展，非英语版本的语言模型也已发布。随着其使用日益广泛，许多轻量级版本（参数减少）的模型也被推出，以加快训练和推理速度。然而，除英语外其他语言的这些轻量模型（如 ALBERT、DistilBERT）版本仍然稀缺。本文提出 ALBETO 和 DistilBETO，它们是在西班牙语语料上专门预训练的 ALBERT 和 DistilBERT 版本。我们训练了参数从 5M 到 223M 的多个 ALBETO 版本，以及一个参数为 67M 的 DistilBETO 版本。我们在包含多种西班牙语自然语言理解任务的 GLUES 基准上评估了我们的模型。结果表明，尽管参数更少，我们的轻量模型仍取得了与 BETO（Spanish-BERT）相竞争的结果。更具体地，我们较大的 ALBETO 模型在 MLDoc、PAWS-X、XNLI、MLQA、SQAC 和 XQuAD 数据集上优于所有其他模型。然而，BETO 在词性标注（POS）和命名实体识别（NER）上仍保持不败。作为进一步贡献，所有模型均向公众开放以供未来研究。
引用
@article{arxiv.2204.09145,
title = {ALBETO and DistilBETO: Lightweight Spanish Language Models},
author = {José Cañete and Sebastián Donoso and Felipe Bravo-Marquez and Andrés Carvallo and Vladimir Araujo},
journal= {arXiv preprint arXiv:2204.09145},
year = {2023}
}
备注
Accepted paper at LREC2022