勿因模型自信而轻信：揭示并刻画在线学习中学业成功预测器的未知未知
机器学习
2022-12-19 v1 计算机与社会
摘要
学业成功模型可能容易产生薄弱环节，即在模型构建过程中因表征不足而难以准确分类的样本。这一弱点是削弱用户信任的主要因素之一，因为模型的预测可能会例如导致教师不对有需要的学生进行干预。在本文中，我们揭示了在学业成功预测中检测和刻画未知未知（unknown unknowns）的必要性，以更好地理解模型何时可能失效。未知未知包括那些模型对其预测高度自信但实际上却判断错误的学生。因此，在评估预测质量时，我们不能仅仅依赖模型的置信度。我们首先引入了一个用于识别和刻画未知未知的框架。然后，我们利用翻转课堂和在线课程收集的日志数据，通过定量分析和与教师的访谈来评估该框架的信息量。我们的结果表明，未知未知在该领域是一个关键问题，并且我们的框架可应用于支持其检测。源代码可在 https://github.com/epfl-ml4ed/unknown-unknowns 获取。
引用
@article{arxiv.2212.08532,
title = {Do Not Trust a Model Because It is Confident: Uncovering and Characterizing Unknown Unknowns to Student Success Predictors in Online-Based Learning},
author = {Roberta Galici and Tanja Käser and Gianni Fenu and Mirko Marras},
journal= {arXiv preprint arXiv:2212.08532},
year = {2022}
}
备注
Accepted as a full paper at the International Conference on Learning Analytics & Knowledge (LAK23)