DIONYSUS：一种用于低资源对话摘要的预训练模型
计算与语言
2023-05-29 v2
摘要
对话摘要因应用广泛近来备受关注。然而，现有的对话摘要方法存在局限，因为它们未考虑对话的内在结构且严重依赖标注数据，这导致在新领域表现不佳。在本工作中，我们提出DIONYSUS（面向对话摘要预训练的动态输入优化），一种用于任意新领域对话摘要的预训练编码器-解码器模型。为预训练DIONYSUS，我们为每个对话样本创建两个伪摘要：一个由微调的摘要模型生成，另一个是传达重要信息的对话轮次集合。然后，我们基于不同对话类型间信息分布的差异选择其中一个伪摘要。该选定的伪摘要作为在大型对话语料库上以自监督方式预训练DIONYSUS的目标。我们的实验表明，DIONYSUS在六个数据集上优于现有方法，其零样本和少样本设置下的ROUGE分数证明了这一点。
引用
@article{arxiv.2212.10018,
title = {DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization},
author = {Yu Li and Baolin Peng and Pengcheng He and Michel Galley and Zhou Yu and Jianfeng Gao},
journal= {arXiv preprint arXiv:2212.10018},
year = {2023}
}
备注
Accepted for ACL 2023