训练基于 LLM 的导师以提高学生在对话中的学习成果

生成式人工智能 (AI) 有望通过大型语言模型 (LLM) 实现个性化辅导的规模化。虽然最近的 AI 导师通过训练或提示 LLM 以遵循有效的教育原则来适应辅导任务，但它们并未针对对话中学生学习的整体程度进行训练。因此，它们可能以次优方式与学生交互。为克服这一限制，我们提出了一种训练 LLM 生成能最大化学生正确作答概率的导师言语的同时，仍鼓励模型遵循良好教育实践的方法。具体而言，我们生成一组候选导师言语，并通过 (1) 基于 LLM 的学生模型预测正确学生作答的概率，以及 (2) 由 GPT-4o 评估的教育评估标准对其进行评分。随后，我们利用所得数据训练一个开源 LLM，Llama 3.1 8B，使用直接偏好优化。我们表明，本模型生成的导师言语导致学生正确作答的概率显著提高，同时保持 GPT-4o 的教育质量。我们还进行了定性分析和人类评估，表明本模型生成的语言质量很高。