降低成本：跨提示预微调用于短答案评分
计算与语言
2024-08-27 v1
摘要
自动短答案评分（SAS）是根据评分标准和参考答案自动对给定输入进行评分的任务。尽管SAS在实际应用中有用，但由于评分标准和参考答案在不同提示之间存在差异，因而需要为每个新提示获取新数据并训练模型。这种要求在资源有限的学校和在线课程中尤为成本高昂，尤其是当只有少数提示时。本文通过两个阶段的方法尝试降低这一成本：首先在现有评分标准和答案上进行训练（获得金标评分信号），然后在新提示上进行微调。具体而言，鉴于评分标准和参考答案因每个提示而异，我们利用关键短语或代表性表达（答案应包含以获得高分），并使用已标注的提示（即跨提示）训练SAS模型，以学习关键短语与答案之间的关系。我们的实验结果表明，使用关键短语在现有跨提示数据上进行微调显著提高了评分准确性，尤其是在训练数据有限的情况下。最终，我们的广泛分析表明，设计模型以学习任务的通用属性至关重要。
引用
@article{arxiv.2408.13966,
title = {Reducing the Cost: Cross-Prompt Pre-Finetuning for Short Answer Scoring},
author = {Hiroaki Funayama and Yuya Asazuma and Yuichiroh Matsubayashi and Tomoya Mizumoto and Kentaro Inui},
journal= {arXiv preprint arXiv:2408.13966},
year = {2024}
}
备注
This is the draft submitted to AIED 2023. For the latest version, please visit: https://link.springer.com/chapter/10.1007/978-3-031-36272-9_7