使用 T5 Transformer 模型进行孟加拉语语法错误检测
计算与语言
2023-03-21 v1 机器学习
摘要
本文提出了一种使用 Text-to-Text Transfer Transformer (T5) 语言模型检测孟加拉语语法错误的方法，该方法使用 BanglaT5 的小型变体，并在包含 9385 个句子的语料库上进行微调，其中错误由专用定界符号括起。T5 模型最初是为翻译而设计的，并非专门为该任务设计，因此需要进行大量的后处理以使其适应错误检测任务。我们的实验表明，T5 模型在检测孟加拉语语法错误时可以实现较低的 Levenshtein 距离，但后处理对于实现最佳性能至关重要。在 5000 个句子的测试集上，对微调模型的输出进行后处理后的最终平均 Levenshtein 距离为 1.0394。本文还详细分析了模型检测到的错误，并讨论了将翻译模型用于语法的挑战。我们的方法可以扩展到其他语言，展示了 T5 模型在广泛语言中检测语法错误的潜力。
引用
@article{arxiv.2303.10612,
title = {Bangla Grammatical Error Detection Using T5 Transformer Model},
author = {H. A. Z. Sameen Shahgir and Khondker Salman Sayeed},
journal= {arXiv preprint arXiv:2303.10612},
year = {2023}
}