领域精通基准：一个用于评估大语言模型整体领域知识的持续更新基准——初步发布
计算与语言
2023-08-11 v2
摘要
领域知识是指对某一特定学科、行业、领域或特殊兴趣领域的深入理解、专业知识和熟悉程度。现有基准均缺乏对领域知识评估的整体设计。我们秉持这样一种信念，即领域语言理解的真实能力只能由全面而深入的基准来公平评估，因而提出了 Domma，一个领域精通基准（Domain Mastery Benchmark, DomMa）。DomMa 旨在测试大语言模型（LLMs）的领域知识理解能力，其特点包括广泛的领域覆盖、海量数据量，以及基于中国 112 个一级学科分类的持续更新数据集。DomMa 由来自中国高校研究生入学考试和本科考试的 10 万道中英双语题目组成。我们还提出了若干设计，以使基准和评估过程更适配大语言模型。
引用
@article{arxiv.2304.11679,
title = {Domain Mastery Benchmark: An Ever-Updating Benchmark for Evaluating Holistic Domain Knowledge of Large Language Model--A Preliminary Release},
author = {Zhouhong Gu and Xiaoxuan Zhu and Haoning Ye and Lin Zhang and Zhuozhi Xiong and Zihan Li and Qianyu He and Sihang Jiang and Hongwei Feng and Yanghua Xiao},
journal= {arXiv preprint arXiv:2304.11679},
year = {2023}
}
备注
The paper is updated, but we make a mistake that submit a new arxiv paper but not replace this one, the new version is in arXiv:2306.05783