透镜下的自动语音评分系统：评估与解释语言熟练度的语言线索
计算与语言
2021-12-01 v1 声音
音频与语音处理
摘要
英语熟练度评估已成为学术界与工业界筛选和选拔候选人的必要指标。随着此类评估需求的增长，越来越需要可自动生成且人类可解释的结果，以防止不一致性并确保对二语学习者的有意义反馈。基于特征的传统方法在理解评分模型所学内容方面更具可解释性。因此，在本工作中，我们利用经典机器学习模型将语音评分任务构建为分类与回归问题，并开展深入研究以解释和探究语言线索与说话者英语熟练度水平之间的关系。首先，我们提取五类语言特征（流畅度、发音、内容、语法与词汇、声学）并训练模型对回答评分。比较发现，基于回归的模型表现等同于或优于分类方法。其次，我们进行消融实验以理解各特征及特征类别对熟练度评分性能的影响。进一步，为理解单个特征贡献，我们给出了在最佳评分算法上 top 特征的重要性。第三，我们利用偏依赖图与 Shapley 值探究特征重要性，并得出结论：性能最佳的训练模型学习了用于本研究所用数据集评分的底层量规。
引用
@article{arxiv.2111.15156,
title = {Automated Speech Scoring System Under The Lens: Evaluating and interpreting the linguistic cues for language proficiency},
author = {Pakhi Bamdev and Manraj Singh Grover and Yaman Kumar Singla and Payman Vafaee and Mika Hama and Rajiv Ratn Shah},
journal= {arXiv preprint arXiv:2111.15156},
year = {2021}
}
备注
Accepted for publication in the International Journal of Artificial Intelligence in Education (IJAIED)