破解代码：印度尼西亚真实世界专业考试中的多领域 LLM 评估
计算与语言
2025-02-25 v2
摘要
尽管大语言模型的知识评估主要集中在数学和物理等学术科目上，但这些评估往往无法捕捉现实世界职业的实际需求。在本文中，我们引入了 IndoCareer，这是一个包含 8,834 道多项选择题的数据集，旨在评估各个领域职业与专业认证考试中的表现。IndoCareer 以印度尼西亚为焦点，提供了丰富的本地语境，涵盖六个关键领域：（1）医疗保健，（2）保险与金融，（3）创意与设计，（4）旅游与酒店管理，（5）教育与培训，以及（6）法律。我们对 27 个大语言模型的全面评估表明，这些模型在保险和金融等具有强本地语境的领域尤为挣扎。此外，在使用整个数据集时，打乱答案选项通常能在各模型间保持一致的评估结果，但会在保险和金融领域引入不稳定性。
引用
@article{arxiv.2409.08564,
title = {Cracking the Code: Multi-domain LLM Evaluation on Real-World Professional Exams in Indonesia},
author = {Fajri Koto},
journal= {arXiv preprint arXiv:2409.08564},
year = {2025}
}
备注
Accepted at NAACL 2025 (Industry Track)