评估GPT-3.5与GPT-4在巴西葡萄牙语语法错误纠正上的表现
计算与语言
2023-07-19 v2 人工智能
摘要
我们研究了GPT-3.5与GPT-4这两个大语言模型（LLM）作为巴西葡萄牙语语法错误纠正（GEC）工具的有效性，并将其性能与Microsoft Word和Google Docs进行比较。我们引入了一个包含四类（语法、拼写、网络用语与快速输入）的巴西葡萄牙语GEC数据集。结果表明，尽管GPT-4比其他方法具有更高的召回率，LLM往往精度较低，导致过度纠正。本研究展示了LLM作为巴西葡萄牙语实用GEC工具的潜力，并鼓励进一步探索LLM在非英语语言与其他教育场景中的应用。
引用
@article{arxiv.2306.15788,
title = {Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese},
author = {Maria Carolina Penteado and Fábio Perez},
journal= {arXiv preprint arXiv:2306.15788},
year = {2023}
}
备注
Download the full source to access the dataset. Accepted to LatinX in AI (LXAI) Research at ICML 2023