成本与质量的平衡：自动化短答案评分中人在回路框架的探索
计算与语言
2022-06-17 v1
摘要
短答案评分（SAS）是对学习者所写短文本进行打分的人物。近年来，基于深度学习的方法显著提升了 SAS 模型的性能，但如何保证高质量预测在将该类模型应用于教育领域时仍是一个关键问题。为担保高质量预测，我们首次探索使用人在回路框架，通过让 SAS 模型与人类评分员共享评分任务，以最小化评分成本同时保证评分质量。具体而言，通过引入置信度估计方法来指示模型预测的可靠性，可仅将高可靠性预测用于评分结果、并将低可靠性预测交由人类评分员，从而保证评分质量。在实验中，我们使用多种置信度估计方法与多个 SAS 数据集考察了所提框架的可行性。我们发现，该人在回路框架可使自动评分模型与人类评分员达到目标评分质量。
引用
@article{arxiv.2206.08288,
title = {Balancing Cost and Quality: An Exploration of Human-in-the-loop Frameworks for Automated Short Answer Scoring},
author = {Hiroaki Funayama and Tasuku Sato and Yuichiroh Matsubayashi and Tomoya Mizumoto and Jun Suzuki and Kentaro Inui},
journal= {arXiv preprint arXiv:2206.08288},
year = {2022}
}
备注
12pages, To be published in proceedings of AIED2022