LLMzSz{\L}：面向波兰语的全方位 LLM 基准测试
计算与语言
2025-01-07 v1 人工智能
摘要
本文介绍了规模化的波兰语语言模型基准测试 LLMzSz{\L}（LLMs Behind the School Desk）。它基于一系列连贯的波兰国家考试集合，包括从波兰中央考试委员会档案中提取的学术与职业测试，覆盖 4 种考试类型，涵盖 154 个领域，总计约 1.9 万道选择题。我们检验了开源多语言、英语以及波兰语 LLM 的性能，以验证其跨语言知识迁移能力。同时，考察了 LLMs 与人类在模型准确率与考试通过率水平上的相关性。我们表明，多语言 LLM 在获取优异成绩方面优于单语言模型；然而，在模型规模有限时，单语言模型可能更具优势。我们的分析凸显了 LLMs 在辅助考试验证方面的潜力，尤其是在识别考试任务中的异常或错误方面。
引用
@article{arxiv.2501.02266,
title = {LLMzSz{\L}: a comprehensive LLM benchmark for Polish},
author = {Krzysztof Jassem and Michał Ciesiółka and Filip Graliński and Piotr Jabłoński and Jakub Pokrywka and Marek Kubis and Monika Jabłońska and Ryszard Staruch},
journal= {arXiv preprint arXiv:2501.02266},
year = {2025}
}