bgGLUE：一个保加利亚语通用语言理解评估基准
计算与语言
2023-06-08 v2 信息检索
机器学习
摘要
我们提出bgGLUE（保加利亚语通用语言理解评估），一个用于在保加利亚语自然语言理解（NLU）任务上评估语言模型的基准。我们的基准包含针对多种NLP问题（例如自然语言推理、事实核查、命名实体识别、情感分析、问答等）以及机器学习任务（序列标注、文档级分类与回归）的NLU任务。我们运行了针对保加利亚语预训练语言模型的首次系统性评估，在基准的九个任务中对比并对照结果。评估结果显示序列标注任务上性能强劲，但对于需要更复杂推理的任务仍有很大改进空间。我们将bgGLUE与微调及评估代码一并公开，并在 https://bgglue.github.io/ 提供公开排行榜，希望其能推动保加利亚语NLU模型的进一步发展。
引用
@article{arxiv.2306.02349,
title = {bgGLUE: A Bulgarian General Language Understanding Evaluation Benchmark},
author = {Momchil Hardalov and Pepa Atanasova and Todor Mihaylov and Galia Angelova and Kiril Simov and Petya Osenova and Ves Stoyanov and Ivan Koychev and Preslav Nakov and Dragomir Radev},
journal= {arXiv preprint arXiv:2306.02349},
year = {2023}
}
备注
Accepted to ACL 2023 (Main Conference)