利用大语言模型进行孟加拉语言语法错误解释的提示调优方法
计算与语言
2025-04-09 v1
摘要
我们提出了一种新颖的三步提示调优方法，用于孟加拉语言语法错误解释（BGEE），采用如 GPT-4、GPT-3.5 Turbo 和 Llama-2-70b 等最先进大语言模型（LLM）。我们的方法包括识别和分类孟加拉句子中的语法错误、生成句子的纠正版本，并为每个识别出的错误提供自然语言解释。我们采用自动评估指标和由经验丰富的孟加拉语言专家进行的人工评估，对 BGEE 系统的性能进行评估。我们提出的提示调优方法表明，最佳表现的 GPT-4 在自动评估指标上超越基线模型，F1 分数提升 5.26%，完全匹配提升 6.95%。此外，与前一基线相比，GPT-4 在错误类型错误率上降低 25.51%，在错误解释错误率上降低 26.27%。然而，结果仍落后于人类基线。
引用
@article{arxiv.2504.05642,
title = {Leveraging Prompt-Tuning for Bengali Grammatical Error Explanation Using Large Language Models},
author = {Subhankar Maity and Aniket Deroy},
journal= {arXiv preprint arXiv:2504.05642},
year = {2025}
}
备注
9 pages, 2 figures