提示开源与商用语言模型进行英语学习者文本的语法纠错
计算与语言
2025-04-08 v2
摘要
得益于生成式AI的最新进展，我们能够提示大语言模型（LLMs）生成流畅且符合语法的文本。此外，已有研究表明，当向LLMs输入不合语法的句子时，我们可以引导其尝试进行语法纠错（GEC）。我们通过在已建立的基准数据集上衡量LLMs的性能，评估其在GEC任务上的表现。我们超越了以往仅在一部分英语GEC数据集上考察GPT*模型的研究，在四个已建立的GEC基准上评估了七个开源和三个商用LLM。我们研究了模型性能，并报告了针对个别错误类型的结果。结果表明，LLMs并非总是优于有监督的英语GEC模型，除非在特定情境下——即商用LLMs在标注有流畅度修正（而非最小编辑）的基准上。我们发现，在最小编辑基准上，多个开源模型的表现优于商用模型，并且在某些设置下，零样本提示与少样本提示同样具有竞争力。
引用
@article{arxiv.2401.07702,
title = {Prompting open-source and commercial language models for grammatical error correction of English learner text},
author = {Christopher Davis and Andrew Caines and Øistein Andersen and Shiva Taslimipoor and Helen Yannakoudakis and Zheng Yuan and Christopher Bryant and Marek Rei and Paula Buttery},
journal= {arXiv preprint arXiv:2401.07702},
year = {2025}
}
备注
8 pages with appendices; accepted to ACL Findings 2024