基于 BERT 使用 SHAP 的可解释协作问题解决诊断及其对教师采纳的影响
摘要
双向编码器表示变换器 (Bidirectional Encoder Representations from Transformers, BERT) 模型及其变体用于对协作问题解决 (Collaborative Problem Solving, CPS) 进行分类已在人工智能教育社区中得到广泛探索。然而, 对如何贡献于模型分类决策的单个分词化单词有限关注。增强 BERT 类 CPS 诊断工具的可解释性对于更好地向最终用户（如教师）提供信息，具有助力教师信任并促进教育领域更广泛采纳的重要意义。本研究通过使用 SHapley Additive exPlanations (SHAP) 考察不同分词化单词如何贡献于 BERT 模型对 CPS 过程的分类，以实现模型透明度和可解释性的初步步骤。研究结果表明，表现良好的分类不一定等同于对分类决策的合理解释。特定的分词化单词被频繁用于影响分类。分析还识别出一个瞬时词汇，对分类有正面贡献但对类别本身并无语义意义。尽管这种模型透明性不太对最终用户有用以改进其实践，但可以帮助他们不要过度依赖 LLM 诊断工具而忽视人类专长。我们以工作论文结束时指出，模型对单词的合适使用程度与类别数量相关。它呼吁对集成模型架构的探索以及人类-AI 互补用于 CPS 诊断的参与，因为相当大的人类推理仍然是细粒度 CPS 子技能区分所必需的。
引用
@article{arxiv.2507.14584,
title = {Explainable Collaborative Problem Solving Diagnosis with BERT using SHAP and its Implications for Teacher Adoption},
author = {Kester Wong and Sahan Bulathwela and Mutlu Cukurova},
journal= {arXiv preprint arXiv:2507.14584},
year = {2025}
}
备注
Accepted to appear in the workshop proceedings for the HEXED'25 workshop in the 26th International Conference on Artificial Intelligence in Education 2025 (AIED 2025), 22 July 2025, Palermo, Italy. 6 pages, 2 figures