ChatGPT 还是 Grammarly？在语法错误纠正基准上评估 ChatGPT
计算与语言
2023-03-27 v1
摘要
ChatGPT 是 OpenAI 开发的尖端人工智能语言模型，因其令人惊讶的强追问回答能力而备受关注。在本报告中，我们旨在语法错误纠正（GEC）任务上评估 ChatGPT，并将其与商业 GEC 产品（如 Grammarly）以及最先进模型（如 GECToR）进行比较。通过在 CoNLL2014 基准数据集上测试，我们发现就自动评价指标（如 分数）而言，ChatGPT 表现不如这些基线模型，尤其在长句上。我们检视了输出，发现 ChatGPT 不止于逐处纠正，具体而言，它倾向于在保持语法正确的同时改变某些短语或句子结构的表层表达。人工评价定量确认了这一点，并表明 ChatGPT 产生的欠纠正或误纠正问题更少，但过度纠正更多。这些结果表明，ChatGPT 被自动评价指标严重低估，并可能成为 GEC 的一种有前景的工具。
引用
@article{arxiv.2303.13648,
title = {ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark},
author = {Haoran Wu and Wenxuan Wang and Yuxuan Wan and Wenxiang Jiao and Michael Lyu},
journal= {arXiv preprint arXiv:2303.13648},
year = {2023}
}
备注
Working in progress