基于预测式提示与大语言模型的多选题干扰项生成
计算与语言
2023-08-01 v1
摘要
大语言模型（LLMs）如 ChatGPT 已在各类任务中展现出卓越性能，并引起了研究人员与从业者的广泛关注。然而在教育场景中，我们仍观察到利用 LLMs 为多选题（MCQs）生成干扰项——即看似合理却不正确的答案——方面存在性能差距。在本研究中，我们提出一种策略，通过从题库中自动检索得到的题目作为精心挑选的上下文示例来提示 ChatGPT 等 LLM，以引导其生成相关干扰项。我们使用现有测试集上的定量评估以及人类专家（即教师）的质量标注来评估我们的基于 LLM 的方案。我们发现，呈现给教师的生成干扰项中平均 53% 被评为高质量，即适合直接使用，优于当前最先进的模型。我们还通过将我们的方法与零样本 ChatGPT 以及使用静态示例提示的少样本 ChatGPT 进行比较，展示了我们的方法在生成高质量干扰项上的增益。
引用
@article{arxiv.2307.16338,
title = {Distractor generation for multiple-choice questions with predictive prompting and large language models},
author = {Semere Kiros Bitew and Johannes Deleu and Chris Develder and Thomas Demeester},
journal= {arXiv preprint arXiv:2307.16338},
year = {2023}
}
备注
16 pages, Accepted at the 1st International Tutorial and Workshop on Responsible Knowledge Discovery in Education