AI工具用于Q矩阵的开发与验证
人工智能
2026-02-10 v1 计算与语言
摘要
构建Q矩阵是认知诊断模型(CDM)中的关键步骤，但工作量大。本研究探讨了AI工具(即通用语言模型)能否支持Q矩阵开发，通过将AI生成的Q矩阵与Li和Suen(2013)年份对阅读理解测试进行验证的Q矩阵进行比较。在2025年5月，多个AI模型被提供与人类专家相同的训练材料。评估AI生成Q矩阵、验证Q矩阵以及人类评员Q矩阵之间的一致性，使用查尔森卡appa系数。结果显示，AI模型之间存在显著差异，谷歌Gemini 2.5 Pro在与验证Q矩阵的一致性方面达到最高值(卡appa=0.63)，超过了所有人类专家。然而，在2026年1月使用更新版AI后，发现其与验证Q矩阵的一致性降低。讨论了潜在影响及未来研究方向。
引用
@article{arxiv.2602.08796,
title = {The Use of AI Tools to Develop and Validate Q-Matrices},
author = {Kevin Fan and Jacquelyn A. Bialo and Hongli Li},
journal= {arXiv preprint arXiv:2602.08796},
year = {2026}
}
备注
An earlier version of this study was presented at the Psychometric Society Meeting held in July 2025 in Minneapolis, USA