中文

高等教育中基于文本的作答自动评测:系统性综述

计算机与社会 2024-01-17 v2

摘要

学术形成性与总结性评估中基于文本的开放式问题有助于学生成为深度学习者,并使其为后续概念性评估理解概念做好准备。然而,评阅基于文本的问题,尤其在大班教学中,对教师而言繁琐且耗时。随着人工智能(AI)工具与自然语言处理(NLP)算法的快速发展,文本处理模型持续进步。尤其在大型语言模型(LLM)取得突破后,在教育中自动快速评测与反馈文本作答具有巨大潜力。本系统性综述采用基于PRISMA流程的科学可复现文献检索策略,使用明确的纳入与排除标准研究高等教育中基于文本的自动评测系统,筛选838篇论文并综合93项研究。为理解近年来基于文本的自动评测系统如何开发与应用在教育中,考虑了三个研究问题。所有纳入研究按提出的综合框架进行总结与分类,包括系统输入输出、研究动机与研究产出,以相应回答研究问题。此外,考察并总结了这些研究中自动评测系统的典型研究、研究方法与应用领域。本系统性综述概述了基于文本的评测系统近期教育应用,以理解辅助高等教育中基于文本评测的最新AI/NLP进展。研究结果将特别惠及将ChatGPT等LLM融入教学活动的研究者与教育者。

关键词

引用

@article{arxiv.2308.16151,
  title  = {Automatic assessment of text-based responses in post-secondary education: A systematic review},
  author = {Rujun Gao and Hillary E. Merzdorf and Saira Anwar and M. Cynthia Hipwell and Arun Srinivasa},
  journal= {arXiv preprint arXiv:2308.16151},
  year   = {2024}
}

备注

27 pages, 4 figures, 6 tables