用于文本摘要的带噪声自知识蒸馏
计算与语言
2021-07-28 v2
摘要
在本文中，我们将自知识蒸馏应用于文本摘要，认为其可缓解在单一参考与含噪数据集上最大似然训练的问题。我们的学生摘要模型不依赖独热标注标签，而是在教师模型生成的平滑标签引导下训练以助正则化训练。此外，为更好地建模训练中的不确定性，我们为教师与学生模型引入了多种噪声信号。我们在三个基准上的实验表明，我们的框架提升了预训练与非预训练摘要器的性能，取得了最先进（SOTA）结果。
引用
@article{arxiv.2009.07032,
title = {Noisy Self-Knowledge Distillation for Text Summarization},
author = {Yang Liu and Sheng Shen and Mirella Lapata},
journal= {arXiv preprint arXiv:2009.07032},
year = {2021}
}
备注
update proceeding version