评估解释器：面向 MOOC 中学生成功预测的黑盒可解释机器学习
机器学习
2022-07-04 v1 计算机与社会
摘要
神经网络在教育领域的应用机器学习中无处不在。其在预测性能上的普遍成功伴随着一个严重弱点，即缺乏对其决策的可解释性，这在以人为中心的领域中尤为关键。我们实现了五种最先进的黑盒机器学习模型解释方法（LIME、PermutationSHAP、KernelSHAP、DiCE、CEM），并在五门大规模开放在线课程的学生成绩预测下游任务上考察了每种方法的优势。我们的实验表明，对于相同的双向 LSTM 模型与相同的代表性学生集合，各类解释器在特征重要性上彼此不一致。我们使用主成分分析、Jensen–Shannon 距离与 Spearman 秩相关系数来定量交叉检验不同方法与课程间的解释。此外，我们基于课程先修关系验证了解释器性能。我们的结果得出一个令人担忧的结论：解释器的选择是一项重要决策，事实上比模型所训练的课程更关乎预测结果的解读。源代码与模型发布于 http://github.com/epfl-ml4ed/evaluating-explainers。
引用
@article{arxiv.2207.00551,
title = {Evaluating the Explainers: Black-Box Explainable Machine Learning for Student Success Prediction in MOOCs},
author = {Vinitra Swamy and Bahar Radmehr and Natasa Krco and Mirko Marras and Tanja Käser},
journal= {arXiv preprint arXiv:2207.00551},
year = {2022}
}
备注
Accepted as a full paper at EDM 2022: The 15th International Conference on Educational Data Mining, 24-27 of July 2022, Durham