基于大语言模型的英语学习者写作语法准确性动态评估
计算与语言
2025-09-08 v1 人工智能
摘要
本研究探讨了大语言模型（LLMs）规模化实施动态评估（DA）的潜力。为便于此类研究，我们首先开发了 DynaWrite——一个模块化、基于微服务的语法辅导应用，支持多种大语言模型为英语学习者生成动态反馈。对 21 种大语言模型的初步测试显示，GPT-4o 和 neural chat 在语言学习课堂中规模化实施动态评估的潜力最大。对这两个候选模型的进一步测试发现，它们在准确识别用户句子中语法错误的能力上表现相似。然而，GPT-4o 在动态评估的质量上始终优于 neural chat，能够生成清晰、一致且逐步明确的提示。通过详细的性能测试，也证实了其响应实时性和系统稳定性，GPT-4o 展现出足够的速度和稳定性。本研究表明，大语言模型可用于规模化实施动态评估，从而使得动态评估能够面向比传统师生环境下更庞大的群体开展。
引用
@article{arxiv.2505.00931,
title = {Large Language Model-Driven Dynamic Assessment of Grammatical Accuracy in English Language Learner Writing},
author = {Timur Jaganov and John Blake and Julián Villegas and Nicholas Carr},
journal= {arXiv preprint arXiv:2505.00931},
year = {2025}
}
备注
15 pages, 8 Figures. This work has been submitted to the IEEE for possible publication