iLLuMinaTE：利用社会科学解释理论生成可操作学生表现反馈的 LLM-XAI 框架
计算机与社会
2025-01-27 v2 人机交互
机器学习
摘要
近期教育领域可解释 AI（XAI）的进展凸显了一个关键挑战：确保对最先进 AI 模型的解释对于非技术用户（如教育工作者和学生）是可理解的。作为回应，我们介绍了 iLLuMinaTE，这是一个受 Miller 的认知解释模型启发的零样本、提示链 LLM-XAI 流水线。iLLuMinaTE 旨在为在线课程中的学生提供理论驱动、可操作的反馈。iLLuMinaTE 导航三个主要阶段——因果连接、解释选择和解释呈现——其变体源自八种社会科学理论（例如，异常条件、Pearl 的解释模型、必要性与鲁棒性选择、对比解释）。我们广泛评估了从三个 LLM（GPT-4o、Gemma2-9B、Llama3-70B）中提取的 21,915 条 iLLuMinaTE 自然语言解释，这些 LLM 结合了三种不同的底层 XAI 方法（LIME、Counterfactuals、MC-LIME），并跨越了来自三门不同在线课程的学生。我们的评估包括解释与社会科学理论的对齐分析、解释的可理解性分析，以及一项包含 114 名大学生的真实世界用户偏好研究，其中包含一项新颖的可操作性模拟。我们发现，学生在 89.52% 的情况下更喜欢 iLLuMinaTE 的解释而非传统解释器。我们的工作提供了一个稳健的、即用型的框架，用于在教育中有效传达混合 XAI 驱动的见解，对其他以人为中心的领域具有显著的泛化潜力。
引用
@article{arxiv.2409.08027,
title = {iLLuMinaTE: An LLM-XAI Framework Leveraging Social Science Explanation Theories Towards Actionable Student Performance Feedback},
author = {Vinitra Swamy and Davide Romano and Bhargav Srinivasa Desikan and Oana-Maria Camburu and Tanja Käser},
journal= {arXiv preprint arXiv:2409.08027},
year = {2025}
}
备注
Accepted at AAAI 2025