超越Flesch-Kincaid：基于提示的指标改进教育文本的难度分类
计算与语言
2024-06-07 v2
摘要
使用大型语言模型(LLM)进行教育应用，如基于对话的教学，是一个热门话题。然而，有效的教学要求教师根据学生的教育水平调整内容和解释的难度。即使是今天最好的LLM也很难做好这一点。如果我们想改进LLM在这项适应任务上的表现，我们需要能够可靠地衡量适应成功与否。然而，当前用于文本难度的静态指标，如Flesch-Kincaid阅读易读性分数，已知是粗糙且脆弱的。因此，我们引入并评估了一组新的基于提示的文本难度指标。基于用户研究，我们创建了基于提示的指标作为LLM的输入。它们利用LLM的通用语言理解能力来捕捉比静态指标更抽象和复杂的特征。回归实验表明，添加我们的基于提示的指标显著提高了文本难度分类，优于仅使用静态指标。我们的结果证明了使用LLM评估文本对不同教育水平适应性的前景。
引用
@article{arxiv.2405.09482,
title = {Beyond Flesch-Kincaid: Prompt-based Metrics Improve Difficulty Classification of Educational Texts},
author = {Donya Rooein and Paul Rottger and Anastassia Shaitarova and Dirk Hovy},
journal= {arXiv preprint arXiv:2405.09482},
year = {2024}
}