用于抽象式摘要的聚类模式学习
计算与语言
2022-02-24 v2
摘要
如今，BERTSUM与BART等预训练序列到序列模型已在抽象式摘要中展现出最优结果。在这些模型中，微调期间编码器将句子转换为潜空间中的上下文向量，解码器基于上下文向量学习摘要生成任务。在我们的方法中，我们考虑显著与非显著上下文向量的两个簇，解码器可借此更多地关注显著上下文向量以生成摘要。为此，我们在编码器与解码器之间提出一种新颖的聚类Transformer层，其首先生成显著与非显著向量的两个簇，随后对簇进行归一化与收缩以使它们在潜空间中分离。实验结果表明，所提模型通过学习这些 distinct 聚类模式优于现有BART模型，在CNN/DailyMail与XSUM数据集上ROUGE平均提升达4%、BERTScore平均提升0.3%。
引用
@article{arxiv.2202.10967,
title = {Learning Cluster Patterns for Abstractive Summarization},
author = {Sung-Guk Jo and Jeong-Jae Kim and Byung-Won On},
journal= {arXiv preprint arXiv:2202.10967},
year = {2022}
}
备注
11 pages, 4 figures, 4 tables