CASPR：对比性摘要的自动评估指标
计算与语言
2024-05-15 v2
摘要
从一组源评论中总结关于实体（例如酒店、手机）的比较性观点，通常称为对比性摘要，可以极大地帮助用户进行决策。然而，在不依赖人工评估的情况下可靠地衡量输出摘要的对比性仍然是一个开放问题。先前的工作提出了基于词元重叠的指标Distinctiveness Score来衡量对比性，该指标没有考虑对保持意义的词汇变化的敏感性。在这项工作中，我们提出了一种自动评估指标CASPR，以更好地衡量一对摘要之间的对比性。我们的指标基于一种简单且轻量的方法，该方法利用自然语言推理(NLI)任务，通过将评论分割成单声明句子并仔细聚合它们之间的NLI分数来得出摘要级别的分数。我们将CASPR与Distinctiveness Score以及基于BERTScore的简单而强大的基线进行比较。我们在先前数据集CoCoTRIP上的结果表明，与基线相比，CASPR能够更可靠地捕获摘要对的对比性。
引用
@article{arxiv.2404.15565,
title = {CASPR: Automated Evaluation Metric for Contrastive Summarization},
author = {Nirupan Ananthamurugan and Dat Duong and Philip George and Ankita Gupta and Sandeep Tata and Beliz Gunel},
journal= {arXiv preprint arXiv:2404.15565},
year = {2024}
}