CodeGENCAT：面向开放式编码问题的生成式计算机自适应测试
计算与语言
2026-05-28 v2
摘要
现有的计算机自适应测试（CAT）框架通常基于学生答对题目的预测可能性来选择题目，这种设计忽略了学生开放式响应中包含的信息，尤其是在编程教育领域，代码结构和错误包含丰富的学生知识信息。本文提出 CodeGENCAT（Code GENERative CAT），一种基于预测学生代码响应来选择题目的生成式 CAT 框架。首先，我们开发了一个生成式项目反应理论（GIRT）模型，将代码响应条件化于估计的学生知识水平，该模型通过监督微调后进行直接偏好优化，以实现知识-响应对齐。其次，我们引入三个题目选择算法，衡量不确定性、编码风格多样性以及来自预测学生代码响应的信噪比。实验在两个真实的编程教育数据集上进行，表明 CodeGENCAT 在所有 CAT 基线方法中均表现优异，尤其在自适应测试的早期阶段，相对于最强的基线实现了最高达 4.32% 的 AUC 提升。
引用
@article{arxiv.2602.20020,
title = {CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems},
author = {Wanyong Feng and Alexander Scarlatos and Ruochen Sun and Andrew Lan},
journal= {arXiv preprint arXiv:2602.20020},
year = {2026}
}
备注
23 pages, 2 figures