LENS：一种用于文本简化的可学习评价指标

使用现代语言模型训练可学习指标近来已成为机器翻译自动评价的一种有前景的方法。然而，现有的文本简化人工评价数据集标注有限，且基于单一或过时模型，使其不适用于该方法。为解决这些问题，我们引入 SimpEval 语料库，其包含：SimpEval_past，由对 24 个过去系统的 2.4K 条简化文本的 12K 个人工评分组成；以及 SimpEval_2022，一个具有挑战性的简化基准，包含对 360 条简化文本（含 GPT-3.5 生成文本）的超过 1K 个人工评分。在 SimpEval 上训练，我们提出 LENS，一种用于文本简化的可学习评价指标（Learnable Evaluation Metric for Text Simplification）。大量实证结果表明，LENS 比现有指标与人工判断的相关性更好，为文本简化评价的未来进展铺平了道路。我们还引入 Rank and Rate，一种利用交互界面以列表方式对若干模型的简化文本进行评分的人工评价框架，其确保了评价过程的一致性与准确性，并用于创建 SimpEval 数据集。