深入探究声明分解
计算与语言
2024-03-19 v1
摘要
随着生成文本变得越来越普遍，评估此类文本在多大程度上得到外部知识源的支持变得越来越重要。许多评估文本支持度的方法依赖于某种将文本分解为单个子声明的方法，这些子声明根据可信参考进行评分。我们研究了各种声明分解方法——尤其是基于 LLM 的方法——如何影响诸如最近提出的 FActScore 等评估方法的结果，发现它对所使用的分解方法很敏感。这种敏感性之所以产生，是因为此类指标将整体文本支持度归因于生成文本的模型，尽管误差也可能来自指标的分解步骤。为了衡量分解质量，我们引入了 FActScore 的一种改编版本，我们称之为 DecompScore。然后，我们提出了一种受 Bertrand Russell 逻辑原子论和新 Davidsonian 语义学启发的、基于 LLM 的分解生成方法，并证明了其相比以往方法的分解质量改进。
引用
@article{arxiv.2403.11903,
title = {A Closer Look at Claim Decomposition},
author = {Miriam Wanner and Seth Ebner and Zhengping Jiang and Mark Dredze and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2403.11903},
year = {2024}
}