ViDeBERTa：一种面向越南语的强有力预训练语言模型
计算与语言
2023-02-13 v2 机器学习
摘要
本文提出 ViDeBERTa，一种面向越南语的新型预训练单语语言模型，包含 ViDeBERTa_xsmall、ViDeBERTa_base 与 ViDeBERTa_large 三个版本，其基于 DeBERTa 架构，在大规模高质量且多样化的越南语文本语料上进行了预训练。尽管基于 Transformer 的许多成功预训练语言模型已广泛提出用于英语，但对于低资源语言越南语，仍鲜有在下游任务（尤其是问答）上表现良好的预训练模型。我们在词性标注、命名实体识别与问答三项重要自然语言下游任务上对我们的模型进行微调与评估。实证结果表明，参数量远少的 ViDeBERTa 在多个越南语专用自然语言理解任务上超越了先前的 state-of-the-art 模型。值得注意的是，参数量为 86M 的 ViDeBERTa_base 仅约为参数量 370M 的 PhoBERT_large 的 23%，仍取得与先前 state-of-the-art 模型相当或更优的结果。我们的 ViDeBERTa 模型发布于：https://github.com/HySonLab/ViDeBERTa。
引用
@article{arxiv.2301.10439,
title = {ViDeBERTa: A powerful pre-trained language model for Vietnamese},
author = {Cong Dao Tran and Nhut Huy Pham and Anh Nguyen and Truong Son Hy and Tu Vu},
journal= {arXiv preprint arXiv:2301.10439},
year = {2023}
}