面向可解释中文语法纠错的 EXCGEC 基准数据集
计算与语言
2025-02-18 v2
摘要
现有研究在有限场景下探索语法纠错（GEC）的可解释性，忽略了纠正与解释之间的相互作用，且尚未建立相应的综合基准。为弥合这一差距，本文首先引入可解释GEC（EXGEC）任务，强调纠正与解释任务的集成作用。为支持该任务，我们提出EXCGEC——一个为中文EXGEC量身定制的基准数据集，包含8,216个带解释增强样本，采用混合编辑式解释设计。随后，我们在多任务学习设置下对多个系列大语言模型进行基准测试，包括后解释和前解释。为推动该任务发展，我们还构建了全面的评估套件，利用现有自动评估指标并开展人类评估实验，验证了自动评估指标对自由文本解释的一致性。我们的实验表明，传统指标如METEOR和ROUGE在评估自由文本解释方面有效，而多任务模型性能不如流水线方案，凸显了同时学习两个任务的挑战。
引用
@article{arxiv.2407.00924,
title = {EXCGEC: A Benchmark for Edit-Wise Explainable Chinese Grammatical Error Correction},
author = {Jingheng Ye and Shang Qin and Yinghui Li and Xuxin Cheng and Libo Qin and Hai-Tao Zheng and Ying Shen and Peng Xing and Zishan Xu and Guo Cheng and Wenhao Jiang},
journal= {arXiv preprint arXiv:2407.00924},
year = {2025}
}
备注
Accepted to AAAI 2025. 19 pages with an appendix, 10 tables, and 9 figures