日语考试中主观题手写识别与自动评分
机器学习
2023-12-04 v2 计算与语言
计算机视觉与模式识别
摘要
本文展示了一项针对日本新大学入学考试试测中手写主观题答案的自动评分实验,该试测于2017和2018年面向约12万名考生实施。共有约40万份答案,包含超过2000万个字符。尽管所有答案均由人工阅卷员评分,但手写字符并未标注。我们展示了将基于深度神经网络的手写识别器(在一个已标注手写数据集上训练)适配到该未标注答案集的尝试。我们提出的方法结合了不同的训练策略,集成多个识别器,并使用从大型通用语料库构建的语言模型以避免对特定数据的过拟合。在我们的实验中,所提方法使用约占数据集0.5%以下的约2000份已核验标注答案取得了超过97%的字符准确率。随后,识别出的答案被输入一个基于BERT模型的预训练自动评分系统,无需纠正误识字符或提供评分量规标注。该自动评分系统取得了0.84至0.98的二次加权kappa(QWK)。由于QWK超过0.8,这表示自动评分系统与人类阅卷员之间的评分具有可接受的相似性。这些结果对进一步研究端到端主观题自动评分颇具前景。
引用
@article{arxiv.2201.03215,
title = {Handwriting recognition and automatic scoring for descriptive answers in Japanese language tests},
author = {Hung Tuan Nguyen and Cuong Tuan Nguyen and Haruki Oka and Tsunenori Ishioka and Masaki Nakagawa},
journal= {arXiv preprint arXiv:2201.03215},
year = {2023}
}
备注
Keywords: handwritten Japanese answers, handwriting recognition, automatic scoring, ensemble recognition, deep neural networks; Reported in IEICE technical report, PRMU2021-32, pp.45-50 (2021.12) Published after peer review and Presented in ICFHR2022, Lecture Notes in Computer Science, vol. 13639, pp. 274-284 (2022.11)