利用大语言模型识别开放式情境判断测试中个人与专业技能的特征
计算与语言
2025-07-21 v1 人工智能
计算机与社会
摘要
学术项目日益认识到个人与专业技能的重要性，以及它们与技术专长在培养学生未来在多样化职业道路上取得成功方面的关键作用。随着这一需求的增长，需要可扩展的系统来测量、评估和发展这些技能。情境判断测试（SJT）提供了一种以标准化和可靠方式测量这些技能的潜在途径，但开放式SJT传统上依赖训练有素的人工评分员进行评估，这给大规模实施SJT带来了操作上的挑战。过去开发基于自然语言处理的SJT评分系统的尝试因这些系统的构念效度问题而未能达到预期。在本文中，我们探索了一种使用大语言模型（LLM）从SJT回答中提取与构念相关特征的新方法。我们使用Casper SJT来证明这种方法的有效性。本研究为未来个人与专业技能自动评分的发展奠定了基础。
引用
@article{arxiv.2507.13881,
title = {Using LLMs to identify features of personal and professional skills in an open-response situational judgment test},
author = {Cole Walsh and Rodica Ivan and Muhammad Zafar Iqbal and Colleen Robb},
journal= {arXiv preprint arXiv:2507.13881},
year = {2025}
}
备注
10 pages, 2 figures, 4 tables; this work was accepted for presentation at the 2025 Artificial Intelligence in Measurement and Education Conference in Pittsburgh, Pennsylvania, United States