中文

Edu-Values:评估大语言模型中文教育价值的基准

计算与语言 2026-03-24 v4

摘要

本文提出Edu-Values,首个包含七个核心价值的中文教育价值评估基准:专业哲学、教师职业伦理、教育法律法规、文化素养、教育知识与技能、基本素养与学科知识。我们详尽设计1418个问题,覆盖多选题、多模态问答、主观分析、对抗性提示以及中文传统文化(简答)题等类型。我们对21个最先进(SoTA)大语言模型进行人类反馈式自动评估,突出三个主要发现:(1)由于教育文化差异,中文LLM在英语LLM方面表现更好,Qwen 2以81.37的分数排名第一;(2)大语言模型在教师职业伦理和专业哲学方面常常表现不佳;(3)利用Edu-Values构建外部知识存储库进行RAG显著提高了大语言模型的对齐性。这表明所提出的基准方法有效。

关键词

引用

@article{arxiv.2409.12739,
  title  = {Edu-Values: Towards Evaluating the Chinese Education Values of Large Language Models},
  author = {Peiyi Zhang and Yazhou Zhang and Bo Wang and Lu Rong and Prayag Tiwari and Jing Qin},
  journal= {arXiv preprint arXiv:2409.12739},
  year   = {2026}
}

备注

The authors are withdrawing this paper to make substantial revisions and improvements before future submission