mALBERT：紧凑型多语言BERT模型是否仍然值得？
人工智能
2024-03-28 v1
摘要
在当前预训练语言模型（PLM）的趋势中，关于这些模型的伦理和生态影响的批评越来越多。在本文中，考虑到这些批评意见，我们提出关注更小的模型，例如ALBERT这样的紧凑型模型，它们在生态上比这些PLM更友好。然而，PLM在自然语言处理任务中取得了巨大突破，如口语和自然语言理解、分类、问答任务。PLM还具有多语言的优势，但据我们所知，紧凑型ALBERT模型的多语言版本并不存在。考虑到这些事实，我们免费发布了第一个版本的多语言紧凑型ALBERT模型，该模型使用维基百科数据进行预训练，符合此类语言模型的伦理要求。我们还评估了该模型与经典多语言PLM在经典NLP任务上的表现。最后，本文对子词分词对语言性能的影响进行了罕见的研究。
引用
@article{arxiv.2403.18338,
title = {mALBERT: Is a Compact Multilingual BERT Model Still Worth It?},
author = {Christophe Servan and Sahar Ghannay and Sophie Rosset},
journal= {arXiv preprint arXiv:2403.18338},
year = {2024}
}
备注
The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, May 2024, Torino, Italy