无监督摘要重排序
计算与语言
2024-11-15 v4
摘要
随着特定任务预训练目标的兴起，像 PEGASUS 这样的生成式摘要模型在下游摘要任务中展现出了具有吸引力的零样本性能。然而，此类无监督模型的性能仍明显落后于其有监督的对应模型。与有监督设置类似，我们注意到这些模型生成的摘要候选之间质量方差极大，而仅有一个候选被保留作为摘要输出。在本文中，我们提出以无监督方式对摘要候选进行重排序，旨在缩小无监督模型与有监督模型之间的性能差距。我们的方法在四个广泛采用的摘要基准上，使无监督的 PEGASUS 的平均 ROUGE 相对提升高达 7.27%，使 ChatGPT 相对提升高达 6.86%；在 30 个零样本迁移设置（在一个数据集上微调，在另一个数据集上评估）中，平均实现了 7.51% 的相对增益（从 XSum 到 WikiHow 高达 23.73%）。
引用
@article{arxiv.2212.09593,
title = {Unsupervised Summarization Re-ranking},
author = {Mathieu Ravaut and Shafiq Joty and Nancy Chen},
journal= {arXiv preprint arXiv:2212.09593},
year = {2024}
}
备注
9 pages, 1 figure, 10 tables, 23 appendix pages, ACL Findings 2023