GLAT：生成式人工智能素养评估测试
人机交互
2024-11-20 v2
摘要
生成式人工智能（GenAI）技术在教育中的快速整合，使得对 GenAI 素养的精确测量成为必要，以确保学习者和教育者具备有效参与并批判性评估这一变革性技术的技能。现有工具通常依赖于可能存在偏差的自我报告。在本研究中，我们提出了 GenAI 素养评估测试（GLAT），这是一个包含 20 个项目的多项选择题工具，遵循心理与教育测量领域的既定程序开发。通过 355 名高等教育学生的回答，使用经典测试理论和项目反应理论确认了结构效度和信度，结果得到一个可靠的 2 参数逻辑（2PL）模型（Cronbach's alpha = 0.80；omega total = 0.81），并具有稳健的因子结构（RMSEA = 0.03；CFI = 0.97）。关键的是，GLAT 分数被发现是学习者在 GenAI 支持任务中表现的显著预测因子，优于自我报告测量（如感知的 ChatGPT 熟练度），并证明了外部效度。这些结果表明，GLAT 为评估 GenAI 素养提供了一种可靠且有效的方法，有潜力为旨在提升学习者和教育者 GenAI 素养的教育实践和政策决策提供信息，最终使他们能够驾驭一个 AI 增强的未来。
引用
@article{arxiv.2411.00283,
title = {GLAT: The Generative AI Literacy Assessment Test},
author = {Yueqiao Jin and Roberto Martinez-Maldonado and Dragan Gašević and Lixiang Yan},
journal= {arXiv preprint arXiv:2411.00283},
year = {2024}
}