ChatGPT 用于阿拉伯语语法错误纠正
人工智能
2023-08-10 v1
摘要
近来，经过微调以遵循人类指令的大语言模型 (LLM) 在各种英语 NLP 任务中展现出显著能力。然而，它们在语法错误纠正 (GEC) 任务中的表现，尤其是在非英语语言中，仍鲜有探索。在本文中，我们深入探究指令微调 LLM 在阿拉伯语 GEC 中的能力，该任务因阿拉伯语丰富的形态而变得复杂。我们的结果表明，多种提示方法结合（上下文内）少样本学习展现出可观的有效性，其中 GPT-4 在专家提示下取得了高达 F\textsubscript{1} 分数（约比我们建立的基线高 分）。这凸显了 LLM 在低资源环境中的潜力，为生成有用的合成数据用于模型训练提供了一种可行途径。尽管有这些积极结果，我们发现指令微调模型无论规模大小，都显著逊色于规模小得多的全微调模型。这一差距表明 LLM 仍有巨大改进空间。受低资源机器翻译方法的启发，我们还开发了一种利用合成数据的方法，在两个标准阿拉伯语基准上显著优于先前模型。我们的工作为阿拉伯语 GEC 确立了新的 SOTA，在 2014 和 2015 QALB 数据集上分别取得 和 F。
引用
@article{arxiv.2308.04492,
title = {ChatGPT for Arabic Grammatical Error Correction},
author = {Sang Yun Kwon and Gagan Bhatia and El Moatez Billah Nagoud and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2308.04492},
year = {2023}
}