CEScore：用于评估拆分与重述的简单高效的置信度估计模型
计算与语言
2023-12-05 v1
摘要
拆分与重述（SR）任务旨在将一个长而复杂的句子划分为一组传达相同含义的更短、更简单的句子。由于作为其他 NLP 任务的预处理步骤具有诸多益处，这一 NLP 中的挑战性问题近期受到了越来越多的关注。评估 SR 的质量具有挑战性，因为没有适合评估该任务的自动指标。在本工作中，我们引入了 CEScore，一种用于自动评估 SR 任务的新型统计模型。通过模仿人类评估 SR 的方式，CEScore 提供 4 个指标（Sscore、Gscore、Mscore 和 CEscore）来分别评估简洁性、语法性、含义保留和整体质量。在涉及 26 个模型的实验中，CEScore 与人工评估具有强相关性，在模型级别达到了 0.98 的 Spearman 相关系数。这突显了 CEScore 作为评估 SR 模型整体质量的简单有效指标的潜力。
引用
@article{arxiv.2312.01356,
title = {CEScore: Simple and Efficient Confidence Estimation Model for Evaluating Split and Rephrase},
author = {AlMotasem Bellah Al Ajlouni and Jinlong Li},
journal= {arXiv preprint arXiv:2312.01356},
year = {2023}
}