评估大语言模型中的波兰语言和文化素养
计算与语言
2025-03-04 v1
摘要
大语言模型 (LLM) 在处理和生成多语言文本方面日益高效，这使其能够更有效地解决实际问题。然而，语言理解远不止于简单的文本分析。它需要对文化背景的熟悉，包括对日常生活、历史事件、传统、民间故事、文学和流行文化的了解。缺乏此类知识可能导致误解和细微难以察觉的错误。为考察语言模型对波兰文化背景的了解，我们引入了波兰语言和文化素养基准测试，包含 600 个人工精心编制的问题。该基准测试分为六个类别：历史、地理、文化与传统、艺术与娱乐、语法和词汇。作为本研究的一部分，我们对超过 30 个开源和商业 LLM 进行了广泛评估。我们的实验为波兰语言模型提供了新的视角，超越了传统的自然语言处理任务和通用知识评估。
引用
@article{arxiv.2503.00995,
title = {Evaluating Polish linguistic and cultural competency in large language models},
author = {Sławomir Dadas and Małgorzata Grębowiec and Michał Perełkiewicz and Rafał Poświata},
journal= {arXiv preprint arXiv:2503.00995},
year = {2025}
}