评估文档简化：论分别评估简洁性与意义保持的重要性

文本简化旨在使文本更易于阅读，同时保留其核心意义。直观上且如先前工作所示，这两个维度（简化和意义保持）往往呈负相关。过于保守的文本将无法充分简化，而极端的简化则会损害意义保持。然而，流行的评估指标要么将意义保持和简化合并为一个单一分数（SARI，LENS），要么仅针对意义保持（BERTScore，QuestEval）。此外，这些指标通常需要一组参考文本，且大多数先前的工作仅关注句子级简化。在本文中，我们专注于文档级文本简化的评估，并使用分别针对意义保持和简化的不同指标来比较现有模型。我们利用来自类似任务的现有指标，并引入了一种无参考的简洁性指标变体，表明模型大多偏向于简化或意义保持中的一方，很少能在两个维度上同时表现良好。利用我们所使用的指标均为无参考指标这一事实，我们还研究了现有模型在应用于未见数据（即无法获得参考简化文本）时的性能。