skLEP：斯洛伐克通用语言理解基准
计算与语言
2025-06-27 v1 人工智能
信息检索
机器学习
摘要
本工作介绍skLEP，即首个专为评估斯洛伐克语自然语言理解(NLU)模型而设计的综合性基准。我们将skLEP构建为涵盖九种多样化任务的集合，这些任务涉及 token 级别、句子对和 document 级别的挑战，从而为模型能力的全面评估提供了支撑。为构建此基准，我们精心挑选了新的、原创的斯洛伐克语数据集，并仔细翻译了既定的英文 NLU 资源。本文中，我们还系统且广泛地评估了各种斯洛伐克语特定、多语言和英文预训练语言模型的性能。最后，我们发布了完整的基准数据、一个促进模型微调和评估的开源工具包，以及位于https://github.com/slovak-nlp/sklep的公开排行榜，以期促进可重复性研究，并推动斯洛伐克语 NLU 领域的未来发展。
引用
@article{arxiv.2506.21508,
title = {skLEP: A Slovak General Language Understanding Benchmark},
author = {Marek Šuppa and Andrej Ridzik and Daniel Hládek and Tomáš Javůrek and Viktória Ondrejová and Kristína Sásiková and Martin Tamajka and Marián Šimko},
journal= {arXiv preprint arXiv:2506.21508},
year = {2025}
}
备注
ACL 2025 Findings