Unlocking Multiple BERT Models for Bangla Question Answering in NCTB Textbooks
计算与语言
2024-12-25 v1
摘要
在教育情境中评估文本理解是理解学生表现并改进课程效果的关键。本研究探讨了最先进的语言模型-RoBERTa Base、Bangla-BERT和BERT Base-在来自国家课程与教科书委员会(NCTB)教科书中进行孟加拉语言段落基于问题的回答自动评估方面的能力。编译了约3000个孟加拉语段落问题答案实例，对模型使用F1得分和精确匹配(EM)指标进行评估，并在各种超参数配置下进行测试。我们的发现表明，Bangla-BERT在所有配置下都优于其他模型，实现了最高的F1(0.75)和EM(0.53)得分，特别是在较小的批量大小、包含停用词以及适度的学习率时。在另一些配置下，RoBERTa Base表现最差，F1得分最低(0.19)，EM得分最低(0.27)。结果凸显了针对优化模型性能进行微调超参数的重要性，并突显了机器学习模型在教育情境中评估孟加拉语文本理解潜力的可能性。然而，数据集大小、拼写不一致以及计算限制等局限性强调了进一步研究以增强这些模型的鲁棒性和适用性的需要。这项研究为教育机构开发自动化评估系统的未来发展奠定了基础，为孟加拉语文本理解的模型性能提供了关键见解。
引用
@article{arxiv.2412.18440,
title = {Unlocking the Potential of Multiple BERT Models for Bangla Question Answering in NCTB Textbooks},
author = {Abdullah Khondoker and Enam Ahmed Taufik and Md Iftekhar Islam Tashik and S M Ishtiak mahmud and Antara Firoz Parsa},
journal= {arXiv preprint arXiv:2412.18440},
year = {2024}
}