基于稠密检索的书面作文分级相关性评分
信息检索
2024-05-09 v1
摘要
自动作文评分实现了作文评分过程的自动化，为提高学生的写作水平提供了巨大优势。尽管整体作文评分研究十分普遍，但在针对特定质量特征的作文评分方面仍存在明显空白。在本工作中，我们关注相关性特征，该特征衡量学生在整篇作文中保持切题的能力。我们提出了一种采用稠密检索编码器的书面作文分级相关性评分新方法。不同相关性级别的作文的稠密表示随后在嵌入空间中形成聚类，使得其质心之间具有足够的潜在分离度，从而能够有效代表其相关性级别。因此，我们在这些质心上使用简单的 1-近邻分类来确定未见作文的相关性级别。作为一种有效的无监督稠密编码器，我们利用了通过对比学习预训练的 Contriever，其表现与有监督稠密检索模型相当。我们使用广泛使用的 ASAP++ 数据集，在特定任务（即在相同任务上训练和测试）和跨任务（即在未见任务上测试）场景下测试了我们的方法。我们的方法在特定任务场景中建立了新的 state-of-the-art 性能，而其在跨任务场景中的扩展表现则与该场景下的 state-of-the-art 模型相当。我们还在更实际的少样本场景中分析了我们方法的性能，结果表明它可以在仅牺牲 10% 有效性的情况下显著降低标注成本。
引用
@article{arxiv.2405.05200,
title = {Graded Relevance Scoring of Written Essays with Dense Retrieval},
author = {Salam Albatarni and Sohaila Eltanbouly and Tamer Elsayed},
journal= {arXiv preprint arXiv:2405.05200},
year = {2024}
}
备注
Accepted at SIGIR 2024