SummaReranker：一种用于抽象式摘要的多任务混合专家重排序框架
计算与语言
2023-05-29 v2
摘要
序列到序列神经网络近期在抽象式摘要任务中取得了巨大成功，尤其是通过在下游数据集上微调大型预训练语言模型。这些模型通常采用束搜索解码以生成唯一摘要。然而，搜索空间非常庞大，且由于暴露偏差，此类解码并非最优。本文中，我们展示了直接训练一个第二阶段模型对一组摘要候选进行重排序是可行的。我们的混合专家模型 SummaReranker 学习选择更优候选并持续提升基模型性能。以 PEGASUS 为基模型，我们在 CNN-DailyMail 上将 ROUGE 分数提升 5.44%（ROUGE-1 为 47.16）、在 XSum 上提升 1.31%（ROUGE-1 为 48.12）、在 Reddit TIFU 上提升 9.34%（ROUGE-1 为 29.83），达到了新的最先进水平。我们的代码与检查点将发布于 https://github.com/ntunlp/SummaReranker。
引用
@article{arxiv.2203.06569,
title = {SummaReranker: A Multi-Task Mixture-of-Experts Re-ranking Framework for Abstractive Summarization},
author = {Mathieu Ravaut and Shafiq Joty and Nancy F. Chen},
journal= {arXiv preprint arXiv:2203.06569},
year = {2023}
}
备注
9 pages, 6 figures, 6 tables, 9 appendix pages, ACL 2022