一种预测、解释并改善学习成果的框架
机器学习
2020-10-13 v2 人工智能
计算机与社会
摘要
学界早已认识到学业成功是认知与非认知维度共同作用的结果。因此，任何旨在改善学习成果 (LOs) 的智能学习平台都必须在这些维度上为学习者提供可操作的输入。然而，在生产环境中可扩展地实现此类输入并非易事。我们开发了 Embibe 分数商模型 (ESQ) 以基于学生的观测学业、行为与应试特征预测考试分数。ESQ 可用于预测学生未来得分潜力并提供个性化学习提示，二者对改善 LOs 均至关重要。我们评估了多种机器学习模型用于预测任务。为向学习者提供有意义反馈，计算了各特征的个体化 Shapley 特征归因。通过应用非参数分位数回归获得预测区间，以量化预测中的不确定性。我们将上述建模策略应用于包含 Embibe 学习平台上逾一亿次学习者交互的数据集。我们观察到在多个用户分段中观测与预测分数的中位绝对误差为 4.58%，且预测与观测响应间相关系数为 0.93。通过类游戏的反事实示例推演 what-if 场景以观察 LOs 的变化。我们简要讨论理性 agent 如何将上述模型视为 Oracle 应用最优策略以影响学习成果。
引用
@article{arxiv.2010.02629,
title = {A framework for predicting, interpreting, and improving Learning Outcomes},
author = {Chintan Donda and Sayan Dasgupta and Soma S Dhavala and Keyur Faldu and Aditi Avasthi},
journal= {arXiv preprint arXiv:2010.02629},
year = {2020}
}
备注
9 pages, 10 figures