生成式预训练大语言模型在解释孟加拉语语法错误方面的准备程度如何？
计算与语言
2024-06-04 v1
摘要
由先进生成式人工智能驱动的语法纠错工具能够熟练地纠正用户输入中的语言不准确之处。然而，它们往往在提供必要的自然语言解释方面存在不足，而这些解释对于语言学习和更深入地理解语法规则至关重要。在孟加拉语等低资源语言中，对这些工具的探索有限。在这些语言中，语法错误解释系统不仅应纠正句子，还应提供错误解释。这种全面的方法可以帮助语言学习者提高熟练程度。我们的工作引入了一个来自不同熟练程度和语言复杂性的孟加拉语使用者的真实世界、多领域数据集。该数据集作为语法错误解释系统的评估基准，使其能够利用上下文信息生成有意义的解释和高质量的纠正。各种生成式预训练大语言模型，包括GPT-4 Turbo、GPT-3.5 Turbo、Text-davinci-003、Text-babbage-001、Text-curie-001、Text-ada-001、Llama-2-7b、Llama-2-13b和Llama-2-70b，与人类专家进行了性能比较。我们的研究强调了当前最先进的生成式预训练大语言模型在自动部署于孟加拉语语法错误解释方面的局限性。我们的研究结果主张人工干预，提出纳入人工检查以解决语法错误并提高反馈质量。这种方法为改进孟加拉语的语法纠错工具提供了一种更合适的策略，强调了语言学习的教育方面。
引用
@article{arxiv.2406.00039,
title = {How Ready Are Generative Pre-trained Large Language Models for Explaining Bengali Grammatical Errors?},
author = {Subhankar Maity and Aniket Deroy and Sudeshna Sarkar},
journal= {arXiv preprint arXiv:2406.00039},
year = {2024}
}
备注
Accepted at Educational Data Mining 2024