CPsyExam：中文心理学考试基准
计算与语言
2024-12-11 v3
摘要
本文介绍了一种新颖的心理学基准测试CPsyExam，其问题来源于中文语言考试。CPsyExam旨在分别优先考虑心理学知识和案例分析，认识到将心理学知识应用于现实场景的重要性。从22k个问题中选取4k个问题构建该基准，旨在提供学科覆盖均衡，并包含多样化的案例分析技术。此外，我们评估了 various 现有的大型语言模型(LLM)，从开源到API-based模型。我们的实验和分析表明，CPsyExam作为提升LLMs中心理学理解能力的有效基准，能够在不同细粒度上进行LLM之间的比较。
引用
@article{arxiv.2405.10212,
title = {CPsyExam: A Chinese Benchmark for Evaluating Psychology using Examinations},
author = {Jiahao Zhao and Jingwei Zhu and Minghuan Tan and Min Yang and Renhao Li and Di Yang and Chenhao Zhang and Guancheng Ye and Chengming Li and Xiping Hu and Derek F. Wong},
journal= {arXiv preprint arXiv:2405.10212},
year = {2024}
}
备注
To appear in COLING 2025