DREsS:面向 EFL 写作的基于评分规则的论文评分数据集
计算与语言
2025-06-12 v3 人工智能
摘要
自动论文评分(AES)是英语作为外语(EFL)写作教育中的有用工具,可为学生和教师提供实时论文评分。然而,以往的 AES 模型是在与 EFL 写作教育实际场景无关的论文和分数上训练的,且由于缺乏合适的数据集,通常仅提供单一的整体分数。本文发布了 DREsS,这是一个大规模、标准化的基于评分规则的自动论文评分数据集,共包含 48.9K 个样本。DREsS 包含三个子数据集:DREsS_New、DREsS_Std. 和 DREsS_CASE。我们收集了 DREsS_New,这是一个真实课堂数据集,包含 2.3K 篇由 EFL 本科生撰写并由英语教育专家评分的作文。我们将现有的基于评分规则的论文评分数据集标准化为 DREsS_Std.。我们提出了 CASE,一种基于破坏的作文增强策略,生成了 40.1K 个 DREsS_CASE 合成样本,并将基线结果提高了 45.44%。DREsS 将推动进一步研究,为 EFL 写作教育提供更准确、更实用的 AES 系统。
引用
@article{arxiv.2402.16733,
title = {DREsS: Dataset for Rubric-based Essay Scoring on EFL Writing},
author = {Haneul Yoo and Jieun Han and So-Yeon Ahn and Alice Oh},
journal= {arXiv preprint arXiv:2402.16733},
year = {2025}
}
备注
To appear in ACL 2025. arXiv admin note: text overlap with arXiv:2310.05191