通过自动语音识别识别小学阅读错误
计算与语言
2024-09-04 v1 人工智能
机器学习
音频与语音处理
信号处理
摘要
自动阅读诊断系统可为教师提供更高效的阅读练习评分，亦可帮助学生更轻松地获取带反馈的阅读练习。然而，目前仅有少数研究针对非英语语言的儿童语音进行自动语音识别（ASR），且缺乏基于ASR的阅读诊断系统研究。本研究探讨了最新（SOTA）预训练 ASR 模型识别荷兰语母童语音并检测阅读错误的效率。我们发现，基于荷兰语语音微调的 Hubert Large 能实现SOTA的 phoneme 级儿童语音识别（PER 为23.1%），而 Whisper（Faster Whisper Large-v2）能实现SOTA的 word 级性能（WER 为9.8%）。我们的发现表明，Wav2Vec2 Large 和 Whisper 是阅读错误检测的两大最佳 ASR 模型。具体而言，Wav2Vec2 Large 在召回率上达到最高值0.83，而 Whisper 在精确率上达到最高值0.52，其 F1 分数为0.52。
引用
@article{arxiv.2406.07060,
title = {Reading Miscue Detection in Primary School through Automatic Speech Recognition},
author = {Lingyun Gao and Cristian Tejedor-Garcia and Helmer Strik and Catia Cucchiarini},
journal= {arXiv preprint arXiv:2406.07060},
year = {2024}
}
备注
Proc. INTERSPEECH 2024, 1-5 September 2024. Kos Island, Greece