Referee：基于符号知识蒸馏、具备更强可控性的无参考句子摘要框架
计算与语言
2022-10-26 v1 人工智能
机器学习
摘要
我们提出 Referee，一种新颖的句子摘要框架，可在无参考（即无需黄金摘要作为监督）的情况下训练，同时允许对压缩比进行直接控制。我们的工作是首个证明无参考、可控句子摘要可通过符号知识蒸馏（Symbolic Knowledge Distillation，West 等人，2022）的概念框架实现的工作，其中预训练语言模型中的潜在知识通过从教师模型采样的显式示例进行蒸馏，并进一步通过三类过滤器（长度、保真度与信息瓶颈）进行净化。此外，我们独特地提出了知识的迭代蒸馏，其中上一轮蒸馏得到的学生模型在下一轮迭代中充当教师模型。从一组相对少量的 GPT3 生成的摘要出发，我们展示了迭代知识蒸馏如何产生显著更小但更好的、可控性更强的摘要器。这一迭代蒸馏过程的一个有用副产品是得到了具有不同压缩比程度的高质量句子-摘要配对数据集。实证结果表明，最终的学生模型在压缩比的可控性方面大幅优于大得多的 GPT3-Instruct 模型，且不损害所得摘要的质量。
引用
@article{arxiv.2210.13800,
title = {Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation},
author = {Melanie Sclar and Peter West and Sachin Kumar and Yulia Tsvetkov and Yejin Choi},
journal= {arXiv preprint arXiv:2210.13800},
year = {2022}
}