ConceptPsy：具有心理学概念全面性的基准测试套件
计算与语言
2024-06-18 v4 人工智能
摘要
心理学这一关键领域需要一套全面的基准来促进领域专用大语言模型（LLM）的评估与发展。现有的 MMLU 类基准，如 C-EVAL 和 CMMLU，包含心理学相关科目，但其有限的问题数量以及缺乏系统的概念抽样策略意味着它们无法覆盖心理学所需的概念。因此，尽管这些基准学科覆盖广泛，它们在心理学领域缺乏必要的深度，不足以作为心理学专用评估套件。为解决此问题，本文提出 ConceptPsy，旨在评估心理学中的中文复杂推理与知识能力。ConceptPsy 包含 12 个核心科目和 1383 个人工收集的概念。具体而言，我们提示 GPT-4 使用精心设计的多样化提示为每个概念生成问题，并聘请专业心理学家审核这些问题。为帮助理解细粒度表现并改进弱点，我们为每个问题标注章节标签并提供章节级准确率。基于 ConceptPsy，我们评估了广泛的 LLM。我们观察到，尽管某些 LLM 在整体表现上准确率相近，但即使同系列模型，它们在不同心理学概念上也表现出显著的性能差异。我们希望我们的工作能推动心理学领域 LLM 的发展。
引用
@article{arxiv.2311.09861,
title = {ConceptPsy:A Benchmark Suite with Conceptual Comprehensiveness in Psychology},
author = {Junlei Zhang and Hongliang He and Nirui Song and Zhanchao Zhou and Shuyuan He and Shuai Zhang and Huachuan Qiu and Anqi Li and Yong Dai and Lizhi Ma and Zhenzhong Lan},
journal= {arXiv preprint arXiv:2311.09861},
year = {2024}
}
备注
Under Review