UniSumm 与 SummZoo:面向少样本摘要的统一模型与多样化基准
计算与语言
2023-05-30 v6
摘要
高标注成本及各类摘要任务的多样化需求推动了少样本摘要的发展。然而,尽管涌现了许多摘要任务与数据集,当前的少样本摘要系统训练范式忽视了异构数据集中潜在可共享的知识。为此,我们提出 \textsc{UniSumm},一种使用多个摘要任务预训练的统一的少样本摘要模型,可通过前缀调优在任何少样本摘要任务上表现出色。同时,为更好地评估少样本摘要器,遵循多样性与鲁棒性原则,我们汇编并发布了一个新的基准 \textsc{SummZoo}。其由 8 个摘要任务组成,每任务含多组少样本样本,覆盖多样领域。实验结果与分析表明,在自动与人工评估下,\textsc{UniSumm} 在 \textsc{SummZoo} 的所有子任务上大幅优于强基线,并在人工评估中与 GPT-3.5 模型取得相当结果。
引用
@article{arxiv.2211.09783,
title = {UniSumm and SummZoo: Unified Model and Diverse Benchmark for Few-Shot Summarization},
author = {Yulong Chen and Yang Liu and Ruochen Xu and Ziyi Yang and Chenguang Zhu and Michael Zeng and Yue Zhang},
journal= {arXiv preprint arXiv:2211.09783},
year = {2023}
}
备注
ACL2023 main conference