通过校准蒸馏增强摘要模型的抽象性
计算与语言
2023-12-05 v2
摘要
序列级知识蒸馏可缩减 Seq2Seq 模型规模以实现更高效的抽象式摘要。然而，它常导致摘要抽象性的损失。本文提出一种名为 DisCal 的新方法，以提升抽象性水平（以 n-gram 重叠度量）而不牺牲生成摘要的信息性（以 ROUGE 度量）。DisCal 以两种监督向 student 模型暴露多样的伪摘要。首先，在抽象性与信息性方面确定最佳伪摘要，并用于序列级蒸馏。其次，利用其排序确保 student 模型对排序更高的摘要赋予更高的预测分数。我们的实验表明，DisCal 在抽象式摘要蒸馏上优于先前方法，生成高度抽象且具信息性的摘要。
关键词
引用
@article{arxiv.2310.13760,
title = {Enhancing Abstractiveness of Summarization Models through Calibrated Distillation},
author = {Hwanjun Song and Igor Shalyminov and Hang Su and Siffi Singh and Kaisheng Yao and Saab Mansour},
journal= {arXiv preprint arXiv:2310.13760},
year = {2023}
}
备注
Accepted at EMNLP-Findings 2023