从 KMMLU-Redux 到 KMMLU-Pro：面向 LLM 评估的专业韩文基准套件
计算与语言
2025-07-21 v2 人工智能
摘要
大型语言模型 (LLM) 的开发需要包含不仅限于学术领域，还涵盖产业领域的强大基准测试，以有效评估其在真实世界情境中的适用性。本文介绍两个韩文专家级基准测试。KMMLU-Redux 基于现有 KMMLU 重构，包含来自韩国国家技术资格考试的问题，已删除关键错误以提高可靠性。KMMLU-Pro 基于韩国国家专业执业考试，以反映韩国专业知识而设计。我们的实验表明，这些基准测试全面代表了韩国产业知识。我们公开发布了数据集。
引用
@article{arxiv.2507.08924,
title = {From KMMLU-Redux to KMMLU-Pro: A Professional Korean Benchmark Suite for LLM Evaluation},
author = {Seokhee Hong and Sunkyoung Kim and Guijin Son and Soyeon Kim and Yeonjung Hong and Jinsik Lee},
journal= {arXiv preprint arXiv:2507.08924},
year = {2025}
}