面向语法纠错工具评估的人类后编辑时间估计
计算与语言
2025-10-07 v1 机器学习
摘要
文本编辑往往涉及多轮修订。在初始纠错轮中引入高效语法纠错(GEC)工具，可显著影响后续人类编辑 effort及最终文本质量。这引出一个有趣的问题：GEC工具为用户节省了多少劳动力？我们提供首个大规模后编辑(PE)时间注释和纠错数据集，覆盖两个英文GEC测试数据集(BEA19和CoNLL14)。我们提出Post-Editing Effort in Time (PEET)用于GEC工具的后编辑劳动力评估方法，通过估计PE时间来评估GEC工具。利用我们的数据集，我们量化了GEC工具在文本编辑中节省的时间。分析编辑类型表明，判断句子是否需要纠错、改写和标点符号更改对PE时间影响最大。最终，与人类排序比较显示，PEET与技术劳动力判断高度相关，为评估GEC工具可用性提供了新的以人为中心的方向。我们在https://github.com/ankitvad/PEET_Scorer发布数据集和代码。
引用
@article{arxiv.2510.04394,
title = {Time Is Effort: Estimating Human Post-Editing Time for Grammar Error Correction Tool Evaluation},
author = {Ankit Vadehra and Bill Johnson and Gene Saunders and Pascal Poupart},
journal= {arXiv preprint arXiv:2510.04394},
year = {2025}
}
备注
Accepted for publication in the 4th HCI+NLP Workshop (Fourth Workshop on Bridging Human-Computer Interaction and Natural Language Processing; part of EMNLP 2025)