DeltaScore：基于扰动细粒度故事评估方法
计算与语言
2023-11-03 v5
摘要
针对自然语言生成任务已开发出众多评估指标，但其在评估故事时的有效性有限，因为这些指标并非专门设计用于评估叙事的精细层面，如流畅性与趣味性。本文提出 DELTASCORE，一种采用扰动技术评估细微故事层面的新方法。我们的核心命题认为，故事在某一特定层面（如流畅性）的优异程度，与该层面受特定扰动（如引入错别字）影响的敏感程度大小相关。基于此，我们利用预训练语言模型计算扰动前后状态间的似然差异来度量某一层面的质量。我们在两个领域的故事数据集上，从流畅性、连贯性、相关性、逻辑性与趣味性五个细粒度故事层面，将 DELTASCORE 与现有指标进行比较。DELTASCORE 表现出卓越性能，并揭示了一个令人惊讶的发现：某种特定扰动在捕捉多个层面时极为有效。
引用
@article{arxiv.2303.08991,
title = {DeltaScore: Fine-Grained Story Evaluation with Perturbations},
author = {Zhuohan Xie and Miao Li and Trevor Cohn and Jey Han Lau},
journal= {arXiv preprint arXiv:2303.08991},
year = {2023}
}
备注
15 pages, 3 figures, 8 tables. Camera ready version for EMNLP 2023 findings