解耦学习与评判：面向开放性回答分析的表示学习

开放式回答是学习的核心，然而自动评分通常将学生所写的内容与教师的评分方式混为一谈。我们提出了一种分析优先的框架，该框架将内容信号与评分者倾向分离开来，通过分析使评判变得可见且可审计。使用去标识化的 ASSISTments 数学回答数据，我们将教师历史建模为动态先验，并用句子嵌入表示文本。我们应用质心归一化和回答-问题嵌入差异，并使用先验显式建模教师效应，以减少与问题和教师相关的混淆。时间验证的线性模型量化了每个信号的贡献，模型分歧为定性检查提供了观察结果。结果表明，教师先验极大地影响成绩预测；当先验与内容嵌入结合时获得了最佳结果（AUC~0.815），而仅包含内容的模型虽高于随机水平但表现明显较弱（AUC~0.626）。对评分者效应进行调整，优化了从内容表示中衍生出的特征选择，保留了信息量更大的嵌入维度，并揭示了在语义证据支持理解的情况下与学生回答表面差异的对比。本贡献提出了一条实用的流程，将嵌入从单纯的特征转化为用于反思的学习分析，使教师和研究人员能够检查评分实践在何处与关于学生推理和学习的证据相一致（或冲突）。