基于语言水平的语法纠错提示策略评估
计算与语言
2024-02-27 v1
摘要
英语学习者的写作示例可能与母语者不同。鉴于第二语言（L2）学习者的错误类型因其熟练程度存在显著差异，本文试图通过考察LLM性能与L2语言水平之间的交互来减少过度纠正。我们的方法侧重于基于不同熟练程度的零样本和少样本提示以及微调模型，用于英语作为外语学习者的语法纠错（GEC）。我们研究了GEC结果，发现过度纠正主要发生在高级语言学习者的写作（熟练度C）中，而不是熟练度A（初级水平）和熟练度B（中级水平）。微调后的LLM，甚至使用英语学习者写作示例的少样本提示，实际上往往表现出召回率下降。为了使我们的主张具体化，我们对GEC结果及其基于语言水平的评估结果进行了全面检查。
引用
@article{arxiv.2402.15930,
title = {Evaluating Prompting Strategies for Grammatical Error Correction Based on Language Proficiency},
author = {Min Zeng and Jiexin Kuang and Mengyang Qiu and Jayoung Song and Jungyeul Park},
journal= {arXiv preprint arXiv:2402.15930},
year = {2024}
}
备注
To appear in LREC-COLING 2024, short paper (preprint)