通过 LLM 蒸馏构建问答模拟器
机器学习
2025-09-12 v1 信息检索
摘要
问答（QA）模拟器是一种模仿真实学生学习行为并预测其对问题回答正确性的模型。QA 模拟器使教育推荐系统（ERS）能够在与真实学生交互之前收集大量训练数据，从而防止欠训练的 ERS 进行有害推荐破坏实际学生的学习。根据 QA 历史，有两种方法可用于预测正确性进行模拟：（1）LLM 无关方法，采用传统序列模型将 QA 历史首先转化为向量表示，再基于表示进行预测；（2）LLM 基于方法，利用 LLM 的领域知识和推理能力以增强预测。LLM 无关方法具有快速推理速度，但通常表现次佳。相比之下，大多数 LLM 基于方法取得更好结果，但以较慢的推理速度和更高的 GPU 内存消耗为代价。本文提出一种称为 LLM 蒸馏模拟器（LDSim）的方法，通过从 LLM 中蒸馏领域知识和推理能力来协助预测，从而提高模拟性能。广泛的实验表明，我们的 LDSim 在仿真任务和知识追踪（KT）任务上均取得优异成绩。我们的代码已公开发布于 https://anonymous.4open.science/r/LDSim-05A9。
引用
@article{arxiv.2509.09226,
title = {Constructing a Question-Answering Simulator through the Distillation of LLMs},
author = {Haipeng Liu and Ting Long and Jing Fu},
journal= {arXiv preprint arXiv:2509.09226},
year = {2025}
}