$\texttt{COSMIC}$：用于任务无关摘要评估的互信息
计算与语言
2024-08-15 v3 人工智能
摘要
评估摘要器的质量面临着重大挑战。为此，我们提出了一种新颖的任务导向评估方法，该方法根据摘要器生成对下游任务有用且能保持任务结果的摘要的能力来评估摘要器。我们在理论上建立了这些任务的最终错误概率与源文本和生成摘要之间的互信息的直接关系。我们介绍了 作为该度量的实际实现，展示了其与基于人类判断的度量的强相关性，以及在预测下游任务性能方面的有效性。与 和 等既定度量的对比分析突显了 的竞争性表现。
引用
@article{arxiv.2402.19457,
title = {$\texttt{COSMIC}$: Mutual Information for Task-Agnostic Summarization Evaluation},
author = {Maxime Darrin and Philippe Formont and Jackie Chi Kit Cheung and Pablo Piantanida},
journal= {arXiv preprint arXiv:2402.19457},
year = {2024}
}
备注
ACL 2024