中文

探索 GPT-3 在语法错误纠正中的有效性:基于提示方法的性能与可控性研究

计算与语言 2023-05-30 v1 人工智能

摘要

GPT-3 等大规模预训练语言模型已在多种自然语言处理任务中展现出卓越性能。然而,将 GPT-3 的基于提示方法应用于语法错误纠正(GEC)任务及其可控性仍鲜有探究。GEC 中的可控性对实际应用至关重要,尤其在教育场景中,根据学习者水平与特定错误类型定制反馈的能力可显著促进学习过程。本文通过零样本与少样本设置,研究 GPT-3 基于提示方法在 GEC 任务上的性能与可控性。我们探究任务指令与示例对 GPT-3 输出的影响,重点关注最小编辑、流畅性编辑与学习者水平等控制方面。结果表明,GPT-3 能有效完成 GEC 任务,优于现有的监督与无监督方法。我们也证明,在给定恰当任务指令与示例时,GPT-3 可实现可控性。

关键词

引用

@article{arxiv.2305.18156,
  title  = {Exploring Effectiveness of GPT-3 in Grammatical Error Correction: A Study on Performance and Controllability in Prompt-Based Methods},
  author = {Mengsay Loem and Masahiro Kaneko and Sho Takase and Naoaki Okazaki},
  journal= {arXiv preprint arXiv:2305.18156},
  year   = {2023}
}

备注

Accepted in BEA 2023