使用合成事实评估自动文本摘要
计算与语言
2022-04-12 v1
摘要
尽管近期取得了一些进展，自动文本摘要仍然不可靠、难以捉摸，且在应用中的实际用途有限。当前摘要方法的两个主要已知问题是评估与事实一致性。为解决这些问题，我们提出了一种新的无参考自动文本摘要评估系统，该系统可基于事实一致性、全面性和压缩率，用一组生成的事实来衡量任何文本摘要模型的质量。据我们所知，我们的评估系统是首个基于事实性、信息覆盖度和压缩率来衡量文本摘要模型总体质量的系统。
引用
@article{arxiv.2204.04869,
title = {Evaluation of Automatic Text Summarization using Synthetic Facts},
author = {Jay Ahn and Foaad Khosmood},
journal= {arXiv preprint arXiv:2204.04869},
year = {2022}
}